Farm3D

Farm3D 是一种学习方法，它能够从预训练的2D扩散图像生成器的“自由”虚拟监督中学习特定类别的3D重构器。这种方法主要用于处理铰接对象，如动物模型，并且能够从单视角图像集合中预测任何物体出现的3D形状、反照率、照明和视点。

Farm3D 的关键思路是使用图像生成器（如 Stable Diffusion）来生成虚拟训练数据，从而从头开始学习重建网络。此外，该方法还包括将扩散模型作为评分，以进一步改善学习过程。具体来说，Farm3D 通过随机化重建的某些方面（例如视点和照明），生成重建的3D对象的合成视图，并让2D网络评估所得图像的质量，为重建器提供反馈。

与基于蒸馏的方法不同，Farm3D 可以在几秒钟内从给定的图像（无论是真实的还是生成的）输出可控的3D资产，这对于实时应用程序（如视频游戏）来说是非常有价值的。这种方法不仅可以用于分析，包括单目重建，还可以用于合成，生成用于实时应用程序的可动资产。

Farm3D 的研究成果已经发表在 arXiv 上，并且相关的代码和数据集也已经开源，供研究社区进一步探索和应用。这项工作由 Tomas Jakab、Ruining Li、Shangzhe Wu、Christian Rupprecht 和 Andrea Vedaldi 等计算机视觉领域的专家共同完成。