论文笔记

论文笔记-阴影生成

2024-06-30

阴影生成是属于Image compositing的一个小分支，其旨在于将前景“粘贴复制”到背景上时，通过给前景添加合理的阴影以提升融合度，保证最终整个效果的真实感，效果如下： 阴影生成示意图 阴影生成的两大类方法主要是包括基于渲染(如借用3D模型)或者基于生成技术(如GAN或者Diffusion等)，本笔记主要是记录了后者大类的阴影生成技术。 ShadowGAN 《ShadowGAN: Shadow synthesis for virtual objects with conditional adversarial networks》 【论文】 ShadowGAN网络结构 算法流程：是第一个提出使用深度神经网络进行阴影生成的算法，主框架基于生成对抗网络完成，包含一个生成器和两个判别器(全局+局..

Read more

论文笔记

论文笔记-新视角生成(NVS)

2023-10-10

新视角生成是从一个指定的图像或者prompt作为输入，生成该物体/场景在其他视角下的情况，要求生成的结果和原始的图像/Prompt是具有语义和纹理一致性的，同时如果生成多个视角还要保证多个视角之间也是一致的。下面Zero 1-to-3的效果就能很好表明这个问题： 新视角生成示意图(原图来自Zero 1-to-3) 【1】Zero-1-to-3: Zero-shot One Image to 3D Object 【项目主页】【论文】【代码】 Zero123 算法流程：该算法借助当前强大的2D 下的Diffusion模型生成3D物体，具体步骤为: 该模型根据指定的输入图和相机变换参数，来生成该物体新位置下的新视角图，然后使用多张新视角图再配合Score Jacobian chain来优化得到最终的..

Read more

论文笔记Mesh纹理生成

论文笔记-对白膜Mesh上色(Texturify)

2023-04-22

如何对已有的3D白膜生成纹理(即进行上色)是计算机视觉领域一个重要的领域，主要效果就如下图所示: 3D Mesh上色示意图(原图来自论文TEXTure) 这项技术能够帮助我们对同一个mesh生成不同风格/色调的"外衣"，对于扩充mesh的丰富性和可用性具有重要意义，这里就简单介绍一下最近读的4篇mesh上色的工作。 【1】TEXTure: Text-Guided Texturing of 3D Shapes 【项目主页】【论文】【代码】 先贴上论文中给出的算法流程吧: TEXTure算法流程 算法流程: 该算法借助当前在2D图像领域大火的Diffusion技术，在视角空间对mesh前景生成纹理，然后通过可微分渲染的方式的方式将视角空间的纹理一点点"贴"回mesh 算法细节： 首先要知道的是:..

Read more