用GAN自动生成法线贴图,让图形设计更轻松

本文摘要:如果设计工具能凭据简朴的素描自动生成法线贴图,那将能够为图形设计师提供很大的资助。克日,香港都会大学、中国科学技术大学、大连理工大学和湖南大学四所高校的研究者提出了一种使用生成反抗网络的法线贴图生成方法。 该研究的论文已被将于 5 月 15-18 日在加拿大蒙特利尔举行的 ACM SIGGRAPH 交互式 3D 图形和游戏研讨会(i3D)吸收。法线贴图(normal map)在学术研究和商业生产中都有至关重要作用。

博亚体育app

如果设计工具能凭据简朴的素描自动生成法线贴图,那将能够为图形设计师提供很大的资助。克日,香港都会大学、中国科学技术大学、大连理工大学和湖南大学四所高校的研究者提出了一种使用生成反抗网络的法线贴图生成方法。

该研究的论文已被将于 5 月 15-18 日在加拿大蒙特利尔举行的 ACM SIGGRAPH 交互式 3D 图形和游戏研讨会(i3D)吸收。法线贴图(normal map)在学术研究和商业生产中都有至关重要作用。对于形状重建、外貌编辑、纹理贴图和拟真外貌渲染等许多图形应用而言,法线贴图很是重要。外貌法线贴图是形状的高阶差分信息,因此在设计流程的早期阶段,人类不易准确推理获得。

在种种表现方法中,素描(sketch)能让设计师比力直观地转达自己的设计观点,因为这种方式有很好的多样性、灵活性、简练性和效率。这也是一种用于展现形状和其它几何信息的常用前言。使用素描将 3D 信息通报到 2D 域中是人们经常使用的自然方法。

因为外貌法线是编码 3D 信息的最直接的方法之一,所以「素描到法线」是将 2D 观点投射到 3D 空间的主要释义方法,这在卡通着色、数字外貌建模、游戏场景增强等方面有广泛的应用。凭据素描自动推导法线贴图有望成为图形设计师的有用工具。近些年来,研究界已经见证了深度神经网络在种种差别领域的优良能力。深度神经网络已经成为了许多问题背后的常用解决方案,尤其是与图像相关的难题。

详细而言,基于 GAN 的方法已经在一系列图像生成问题上取得了精彩的体现。更详细来说,对于基于引导的(guidance-based)图像生成,GAN 在传统的深度学习方法的基础上体现出了显著的提升。

因为法线信息和素描曲线在图像域中都有良好的表征,所以凭据素描推导法线贴图可以使用深度神经网络来实现。在本论文中,我们提出了一种交互式的生成系统,其使用了一个深度神经网络框架来凭据输入素描生成法线贴图。在我们的系统中,素描到法线贴图生成问题被看成了一个图像转译问题——使用一个基于 GAN 的框架将素描图像「转译」成法线贴图图像。

为了增强输入素描和所生成的法线贴图之间的对应关系,我们整合了一种条件 GAN 框架,其可以凭据条件引导(conditional guidance)[20] 来生成和判别图像。我们在生成器中使用了 U-net [24] 架构来在生成历程中通报平滑的信息流,从而进一步提升像素层面的对应关系。我们在我们的实现中使用了 Wasserstein 距离,以为网络更新提供更有效的引导和降低训练历程的不稳定性。

因为素描是形状的高度简化的表现,所以对于单张输入素描,可能会有多种形状释义或可能的法线贴图。我们依靠用户来解决这种模糊性问题。为了做到这一点,我们提供了一个用户界面,让用户可以直接在输入素描中提供特定点的法线信息,从而引导法线贴图生成。这样的界面也能扩大法线贴图的设计选择规模。

我们的系统很是高效,可以凭据输入素描和点提示信息实时地生成法线贴图。我们举行了广泛的定量和定性实验并与其它方法举行了比力,效果讲明了我们的方法的有效性。我们在三种种别的数据上举行了评估,并与 pix2pix [14] 和 Lun et al. [19] 等其它方法举行了比力,效果讲明我们的方法在生成低误差法线贴图方面能力精彩。

在输入素描的变化不停增多的实验中,通过逐步增多提示点并评估我们方法的稳健性,我们验证了该方法的用户交互能力。我们的方法也可以凭据全新的人工绘制的素描而获得看起来合理的效果。用户研究进一步证明晰我们的方法在用户感知方面的优势。

图 1:我们的方法的整体事情流程。我们提出的生成器网络将单张输入素描转换成法线贴图,其中仅使用很少或不使用用户干预。这里我们使用了 RGB 通道来表现 3D 法线分量。所生成的法线贴图可用于多种应用,好比重设外貌光照、纹理贴图等。

博亚体育app

好比这里我们将法线贴图用于冯氏着色(Phong shading)。图 2:我们的方法的网络结构。在图左边是一个训练数据样本,其包罗一张素描输入图像、一个点掩模(point mask)和基本真值的法线贴图。对于被选择的点,我们将其在掩模 (2) 中对应的值设为 1,并未来自法线贴图 (3) 的对应点法线复制到素描 (1) 中。

我们将素描输入 (1) 和点掩模 (2) 毗连起来作为生成器 G 的输入,以求取中间的法线贴图 (4);然后再将该中间法线贴图与素描和掩模一起作为判别器 D 的输入,以验证中间法线贴图 (4) 与基本真值 (3) 相比在像素层面上的「真实性」。这个判别信息可在训练阶段引导生成器 G 更新自己的参数。在测试阶段,素描输入和点掩模只作为生成器 G 的输入,其输出会被导出为最终所生成的法线贴图。

每个层模块之上或之下的数字表现层的数量,每个模块左侧的数字表现相应网络层的空间巨细。图 3:我们的用户界面。用户可以在画板(右侧)选择位置,然后使用法线空间(左侧)为它们分配所需的法线。表 1:差别方法的误差情况。

我们将 pix2pix [14]、Lun et al. [19] 和我们的方法的效果与基本真值法线贴图举行了比力。这里给出的值是生成图像(256×256 像素)中法线区域在像素层面上的平均差异。

图 4:使用我们的方法生成的法线贴图示例。每组的右上角是素描输入,每组的右下角是与基本真值比力所获得的对应误差图。我们可视化了所生成的法线贴图的角损失(angular loss),其中红色通道对应所生成的法线贴图的误差,白色是零误差。论文:使用深度神经网络的交互式的基于素描的法线贴图生成(Interactive Sketch-Based Normal Map Generation with Deep Neural Networks)论文地址:http://sweb.cityu.edu.hk/hongbofu/doc/sketch2normal_i3D2018.pdf高质量法线贴图(normal map)是用于表现庞大形状的重要前言。

在本论文中,我们提出了一种使用深度学习技术生成法线贴图的交互式系统。我们的方法使用了生成反抗网络(GAN),能为素描输入生成高质量的法线贴图。此外,我们还能通过整适用户在所选择的点上指定的法线来提升我们系统的交互能力。

我们的方法可以实时生成高质量法线贴图。我们举行了全面的实验,效果讲明了我们的方法的有效性和稳健性。

我们还举行了全面的用户研究,效果讲明:在用户感知方面,与其它方法相比,我们的方法所生成的法线贴图与基本真值(ground truth)之间的差异更小。


本文关键词:用,GAN,自动生成,法线,贴图,让,图形设计,更,博亚体育app

本文来源:博亚体育app-www.tsmaas.com