NeRF基于线稿天生传神三维人脸，细节气焰随意改，论文已经上SIGGRAPH

这个措施可能高效构建三维模子，基于节气详尽水平很高 。线稿

高着实感且精确可控的天生三维人脸建模是数字人构建中的紧张下场之一。当初
，传神运用现有的维人基于网格的人脸建模措施需要业余的职员运用重大的软件并投入大批的光阴以及肉体 ，且实现传神的脸细论文人脸渲染服从较为难题
。

尽管神经辐射场作为一种新的焰随意改已经三维展现可能分解出传神的服从 ，但若何对于生乐成果妨碍精确操作以及更正
，基于节气以实现高品质的线稿三维人脸分解依然是一个待处置的下场。

近期，天生钻研职员提出了基于线稿的传神三维人脸神经辐射场天生以及编纂措施 SketchFaceNeRF [1]，相关技术论文宣告在合计机图形学顶会 SIGGRAPH 2023，维人并被收录于图形学顶级期刊 ACM Transactions on Graphics。脸细论文运用该零星，焰随意改已经即运用户不会运用重大的基于节气三维软件，也可能基于线稿逍遥创作三维人脸。先来看看运用 SketchFaceNeRF 创作的人脸下场：

进一步，在给定三维人脸后
，用户在恣意角度削减编纂操作 ：

Part 1 布景

最近，AI 绘画颇为火爆 ，基于 Stable Diffusion [2] 以及 ControlNet [3] 等措施，经由指定文本能够天生高着实感的二维图像 。可是，上述使命无奈天生高品质的三维模子 。同时 ，仅运用文本难以操作天生细节，尽管 ControlNet 已经反对于线稿的操作 ，但若何对于天生的服从的部份地域妨碍精准的更正依然颇为难题。

随着神经辐射场 [4] 以及坚持式天生收集 [5] 的睁开，已经有措施，好比 EG3D [6] ，已经实现为了三维人脸模子的高品质的天生以及快捷的渲染。可是，这些天生模子只反对于人脸随机采样，而无奈对于生乐成果妨碍操作。IDE-3D [7] 以及 NeRFFaceEditing [8] 运用语义标志图编纂三维人脸
，可是，该类措施难以实现更细节的操作 ，好比头发的妄想细节以及皱纹等 。同时，用户很难重新绘制重大的语义图，无奈凭空天生三维人脸模子 。

线稿作为一种愈加友好的交互方式，不断被用于二维人脸图像的天生 [9] 以及编纂 [10]。可是 ，将线稿用于三维人脸的天生存不才述的下场 ：首先  ，线稿气焰多样且过于浓密，天生二维图像已经不易，天生三维模子则愈加难题；其次 ，针对于三维人脸 ，用户每一每一会在恣意视角削减编纂，若何天生实用的编纂服从，同时坚持三维不同性，是需要处置的下场。

针对于上述挑战，SketchFaceNeRF 运用了三平面的展现措施，基于线稿直接预料人脸三平面特色  ，投影至天生模子的隐空间，患上到高品质的人脸 NeRF 。多视角的三维人脸编纂下场则被建模为优化下场，经由三平面的部份融会及投影措施预料初值，并基于线稿约束以及图像约束反向优化隐码，患上到高品质的人脸 NeRF 编纂下场 。

Part 2 SketchFaceNeRF 算法道理

人脸 NeRF 可控天生

给定单视角的手绘线稿后 ，直接投影到天生模子隐空间，分解的人脸存在对于应性差 、天生品质低等下场 。这是由于二维浓密线稿与三维人脸的差距过大，而且手绘的线稿气焰多样。为处置上述下场，提出一种逐级升维的映射措施  ：由于输入线稿仅搜罗浓密多少多信息，但三维人脸具备差距的概况 ，以是首先运用自顺应实例归一化 (AdaIN [11]) ，将输入的线稿转换到玄色特色图以注入颜色、光照以及纹理信息。

进一步，由于二维输入缺少 3D 信息
，算法在体渲染的平面空间中构建 3D 特色体素 ，空间中的三维点被投影到 2D 特色图，检索患上到对于应的特色 。最后，在 x,y,z 三个轴对于三维体素妨碍形态变更，再基于 2D 卷积收集患上到三平面特色图。为了天生高品质的人脸 NeRF，三平面被反投影到天生模子的隐空间，患上到隐码展现的人脸 NeRF 模子。

磨炼历程分为两步 ：首先 ，运用 EG3D 构建多视角的磨炼数据。输入线稿预料三平面后，基于原本 EG3D 的渲染收集天生其余视角的图像，并运用真值作把守，实现线稿三平面预料收集的磨炼 。而后 ，牢靠线稿三平面预料收集的权重 ，磨炼投影收集，将三平面特色投影至 EG3D 的隐空间。

人脸 NeRF 精确编纂

为了反对于恣意视角的线稿人脸编纂 ，该使命提出一种三维不同的人脸线稿渲染措施，为 EG3D 削减格外的线稿天生份支
，与图像天生份支同享相同的 StyleGAN 主干收集，但具备差距的解码器以及超分说率模块。磨炼历程则运用线稿真值作把守
，并削减正则化项约束线稿视角不同性 。

在天生的三维线稿根基上 ，用户对于部份地域妨碍更正 ，绘制出新的线稿。由于单视角的线稿输入存在遮挡等下场 ，无奈展现残缺原有的三维信息  ，因其直接推理难以坚持编纂先后的非编纂地域不同性 。

为此
，将人脸的 NeRF 的详尽化编纂下场建模为优化下场 。该使命先提出一种初值预料措施：运用与天生历程同享的线稿三平面预料收集 ，先直接预料患上到线稿对于应的三平面特色。为了坚持非编纂地域的巩固
，进一步将线稿天生的三平面与原始的三平面特色妨碍融会 ，并运用与天生历程同享的编码收集 ，将三平面反投影至天生模子的隐空间 ，患上到人脸的编纂的初值。

进一步，提出反向优化措施实现三维人脸的详尽化编纂。详细而言，算法经由线稿天生份支渲染出分解线稿，在编纂地域与手绘线稿合计相似度。同时
，在非编纂地域，图像天生份支渲染出人脸图像 ，与原始图像合计相似度
。为了保障编纂先后的空间不同性 ，进一步约束非编纂地域的光线采样点特色相同
。基于上述约束，反向优化隐码 ，实现人脸的详尽化编纂。

Part 3 下场揭示

如图 5 所示，给定手绘线稿，基于该措施可能天生高品质的人脸神经辐射场 。经由抉择差距的概况参考图像，可能指定天生人脸的概况 。用户可能逍遥变更视角，都能患上到高品质的渲染服从。

如图 6 所示，给定三维人脸，用户可能抉择恣意的视角，对于渲染出的线稿妨碍更正，从而编纂人脸 NeRF。左侧揭示了对于随机天生的人脸妨碍编纂的下场 。右侧则揭示给定人脸图像后 ，运用人脸天生模子妨碍反投影，并进一步削减编纂的服从
。

如图 7 所示
 ，针对于一总体脸 NeRF ，用户可能在差距视角对于人脸削减不断的编纂操作，运用该措施都能患上到较好的编纂服从，同时，非编纂的平面地域的特色也被欠缺坚持  。

如图 8 所示，患上益于天生模子隐空间的精采性子 ，对于特定人削减的编纂操作后，合计先后的隐码差距患上到编纂向量 ，一些情景下可能直接熏染于其余人 ，患上到相似的编纂下场。

Part 4 结语

随着家养智能的快捷睁开，AI 绘画也泛起出良多的新的措施  。与天生二维图像差距 ，若何天生三维数字内容是更具挑战性的下场 。SketchFaceNeRF 提供了一种可行的处置妄想，基于手绘线稿，用户可能天生高品质的人脸模子，并反对于恣意视角的详尽化的编纂。

基于该零星  ，咱们无需装置简短的三维建模软件并学习重大的本领，也不需要破费数个小不断间肉体 ，仅仅经由勾勒重大的线条，艰深用户也能轻松构建心中欠缺的人脸模子，并患上到高品质的渲染服从。

SketchFaceNeRF 已经被 ACM SIGGRAPH 2023 接管
，并将刊登在期刊 ACM Transactions on Graphics 上。

当初，SketchFaceNeRF 已经提供在线效率供巨匠运用。在线零星由中科院合计所信息高铁磨炼推理平台 MLOps 提供智算算力反对于 ，由中科南京信息高铁钻研院提供上线工程效率保障 。

在线效率链接：http://geometrylearning.com/SketchFaceNeRF/interface

无关论文的更多细节  ，及论文、视频、代码的下载，请浏览名目主页：

http://www.geometrylearning.com/SketchFaceNeRF/

开源代码见：

https://github.com/IGLICT/SketchFaceNeRF