NeRF基于线稿天生传神三维人脸,细节气焰随意改,论文已经上SIGGRAPH
这个措施可能高效构建三维模子,基于节气详尽水平很高 。线稿 高着实感且精确可控的天生三维人脸建模是数字人构建中的紧张下场之一。当初
,传神运用现有的维人基于网格的人脸建模措施需要业余的职员运用重大的软件并投入大批的光阴以及肉体 ,且实现传神的脸细论文人脸渲染服从较为难题。 尽管神经辐射场作为一种新的焰随意改已经三维展现可能分解出传神的服从 ,但若何对于生乐成果妨碍精确操作以及更正,基于节气以实现高品质的线稿三维人脸分解依然是一个待处置的下场。 近期,天生钻研职员提出了基于线稿的传神三维人脸神经辐射场天生以及编纂措施 SketchFaceNeRF [1],相关技术论文宣告在合计机图形学顶会 SIGGRAPH 2023,维人并被收录于图形学顶级期刊 ACM Transactions on Graphics。脸细论文运用该零星,焰随意改已经即运用户不会运用重大的基于节气三维软件,也可能基于线稿逍遥创作三维人脸。先来看看运用 SketchFaceNeRF 创作的人脸下场: 进一步,在给定三维人脸后,用户在恣意角度削减编纂操作
: Part 1 布景 最近,AI 绘画颇为火爆
,基于 Stable Diffusion [2] 以及 ControlNet [3] 等措施,经由指定文本能够天生高着实感的二维图像
。可是,上述使命无奈天生高品质的三维模子
。同时 ,仅运用文本难以操作天生细节,尽管 ControlNet 已经反对于线稿的操作
,但若何对于天生的服从的部份地域妨碍精准的更正依然颇为难题。 随着神经辐射场 [4] 以及坚持式天生收集 [5] 的睁开,已经有措施,好比 EG3D [6] ,已经实现为了三维人脸模子的高品质的天生以及快捷的渲染。可是,这些天生模子只反对于人脸随机采样 ,而无奈对于生乐成果妨碍操作。IDE-3D [7] 以及 NeRFFaceEditing [8] 运用语义标志图编纂三维人脸,可是,该类措施难以实现更细节的操作 ,好比头发的妄想细节以及皱纹等
。同时 ,用户很难重新绘制重大的语义图,无奈凭空天生三维人脸模子
。 线稿作为一种愈加友好的交互方式,不断被用于二维人脸图像的天生 [9] 以及编纂 [10] 。可是
,将线稿用于三维人脸的天生存不才述的下场 :首先
,线稿气焰多样且过于浓密,天生二维图像已经不易,天生三维模子则愈加难题;其次 ,针对于三维人脸
,用户每一每一会在恣意视角削减编纂,若何天生实用的编纂服从,同时坚持三维不同性,是需要处置的下场。 针对于上述挑战,SketchFaceNeRF 运用了三平面的展现措施,基于线稿直接预料人脸三平面特色
,投影至天生模子的隐空间 ,患上到高品质的人脸 NeRF
。多视角的三维人脸编纂下场则被建模为优化下场,经由三平面的部份融会及投影措施预料初值,并基于线稿约束以及图像约束反向优化隐码,患上到高品质的人脸 NeRF 编纂下场
。 Part 2 SketchFaceNeRF 算法道理