这个AI可以帮你女朋友自拍:从照片生成3D视频 总有让她满意的角度
小茶来自奥菲寺
量子报告| QbitAI,微信官方账号
爱自拍的女生总是需要很长时间才能拍出漂亮的照片,只是为了找到最漂亮的角度。
比如这个妹子在书架前自拍了四张,但是她不满意。
现在,我们可以把选择最美角度的事情交给AI,让姐姐不再心烦。只需几张照片,就可以从各个角度生成自画像。
然后,你可以在AI生成的视频中找到最美的角度,分享给朋友。
这个人工智能是由华盛顿大学和谷歌联合开发的nerfies。
这种方法不需要复杂的设备,只有智能手机的摄像头和CPU才能完成计算和渲染。这比用内置激光雷达为iPhone 12 Pro生成3D图像的成本低很多。
原则
看到名字会有似曾相识的感觉吗?Nerfs其实是nerfs self两个字的组合。
NeRF(神经辐射场)是谷歌最近开发的一个模型,但NeRF要求受试者在整个过程中保持完全静止。
比如上面这位姐姐,自己拍四张照片,难免会改变头的姿势。如果直接应用NeRF,效果会很可怕。
Nerfies是一个可变形的可变性神经辐射场,可以重建非刚性变形场景。
在NeRF的基础上,作者从几何和物理模拟的原理出发,提出了NeRF的弹性正则化,进一步提高了2D对三维的鲁棒性。
在可变性NeRF中,作者引入了弹性正则化、背景正则化和避免缺点的局部最小退火技术。
作者将潜在变形代码()和外观代码()与每个图像相关联。在观测帧中跟踪摄像机光线,利用变形场将样本沿光线转换为标准帧,变形场由变形码编码为MLP。
此外,转换后的样本位置(x0,y0,z0)、观察方向(,)和外观码被用作MLP的输入,以查询模板NeRF模块并沿射线对样本进行积分。
更多游戏
可变性NeRF不仅可以用于自拍,还可以用于更有趣的目的。
比如创造“希区柯克变焦”的效果,以前需要特殊的摄影技巧,或者从远及近拍摄视频,然后进行后期处理。现在,就几张照片。
不需要场景角度的改变,只需要人物姿态的改变怎么办?
可变性NeRF可以在头部左右之间的任何姿势线性插入照片。
最后,另一个目的是生成防抖视频。由于可变性NeRF可以在任何角度生成图像,现在可以让手抖动并保持稳定。
目前作者还没有发布源代码,但是他们的项目主页上已经放了GitHub按钮,看来他们准备开源了。你就不能等一下试试吗?
项目地址:
https://nerfies.github.io/
论文地址:
https://arxiv.org/abs/2011.12948
——完——
本文是网易新闻网易特别内容奖励计划签约账号【qubit】的原创内容,未经账号授权,禁止随意转载。
量子位年度智能商业大会启幕,大咖已就位!
12月16日,清华大学李开复,院士尹浩,唐杰教授,来自小米,美团,爱奇艺,小冰,亚信,浪潮、容联、澎思、地平线、http://www . Sina.com/等知名AI厂商的大咖啡嘉宾将齐聚MEET2021大会,期待关注AI的朋友报名参会,共同探索新形势下智能产业的发展
G7早班机票限时优惠,扫码锁座~
QBITAI标题签名作者
跟踪人工智能技术和产品的新发展
一键三环“分享”“喜欢”“观看”
科技前沿的进步天天见面~