GET3D 英伟达

GET3D 是由英伟达（NVIDIA）发布的一个AI模型，它能够快速生成大量的3D虚拟资产。GET3D 的主要特点是能够通过2D图像训练，生成具有高保真纹理和复杂几何细节的3D形状。这个模型对于影视、游戏以及元宇宙内容构建者来说是一个强大的工具，因为它可以显著提高3D内容的创建效率。

GET3D 的工作原理包括两个主要部分：几何生成分支和纹理生成分支。几何生成分支负责输出任意拓扑结构的表面网格，而纹理生成分支则产生一个纹理场，用于在表面点上进行查询。在训练过程中，一个可微分光栅化器被用来高效渲染所产生的纹理网格，并渲染成二维的高分辨率图像。整个过程是可微分的，允许通过传播二维判别器的梯度，从图像中进行对抗性训练。

GET3D 的训练数据集越大、越多样化，输出的多样性和详细程度就越高。英伟达的研究团队仅用2天时间，就使用A100 GPU在大约100万张图像上训练了模型。GET3D 每秒可以生成大约20个对象，这在单个英伟达 GPU 上是相当高效的。

GET3D 的生成对象格式与流行的图形软件应用所用的格式相同，用户能够将其形体导入3D渲染器和游戏引擎，以便进行后续编辑。所生成的对象可用于建筑、户外空间或整个城市的3D表现，为游戏、机器人开发、建筑和社交媒体等行业量身打造。

未来版本的GET3D 可能会使用摄像头姿态预估技术，让开发者能够使用真实世界的数据（而不是合成数据集）来训练模型。此外，还可以对其进行改进以支持通用生成，这意味着开发者可以一次性训练用于各种三维图形的GET3D，而不必每一次在一个对象类别上进行训练。这将极大地扩展GET3D的应用范围和灵活性。