3月15日,腾讯混元宣布开源3D生成大模型2.0版本,0模型,对比1.0版本,2.0版本也依然同时支持文、图生3D的能力,并在生成效果上得到**提升,在几何结构上更加精细,纹理彩更加丰富。
3D AIGC技术快速迭代,3D技术应用落地进程也在不断加快,快速生成高质量的游戏角、道具、建筑等3D资产,提升游戏开发效率。面向UGC社交场景,创作个人3D形象、3D虚拟礼物等3D资产。帮助设计师和企业降本增效。面向工业生产、制造业场景,快速生成工业产品原型验证设计。此次混元3D生成大模型2.将进一步推动AIGC 3D的技术发展及产业应用落地。
为各产业提升3D内容生产效率
其中,既支持大众爱好者生成UGC 3D内容,也助力游戏开发、设计建模等专业领域的3D生产管线,大幅提升3D内容创作效率,面向不同应用场景提供可低成本定制的解决方案。
在基础模型生成方面,创作引擎同时支持文生及图生3D。其中,输入中/英文提示词,描述主体内容、特征、风格等,就能快速生成4个高质量3D模型,同时,也支持上**图即生成3D模型。效果上,可以选择不同纹理风格进行生成,同时支持PBR贴图,通过模拟物理特可生成更逼真的材质贴图效果。
另外,创作引擎支持端到端低多边形模型生成,自适应生成几百至数千面的三角面,生成结果可在低面片的基础上**化体现模型细节,拓扑布线更加符合美术标准,更适用于游戏引擎模型渲染。
在3D功能矩阵方面,包括3D动画生成、3D纹理生成、草图生3D、3D人物生成、3D小游戏创作等。
其中,3D动画生成可以支持骨骼绑定和动作驱动,选择不同动作模板即可让创作的角模型轻松动起来,同时支持选择不同角模型素材或上传本地模型生成3D动画。3D角骨骼驱动是实现角动画表现的关键步骤。
3D纹理生成则针对白模及用户添加的模型,支持通过提示词或图像输入方式生成不同高清材质纹理,对不同类别3D模型一键换肤。
通过文字描述草图主体的类别、颜等信息,将二维草图快速转换为高质量的3D模型。
3D人物生成仅需上传一张人物头像,选择不同主题类别的模板即可实现个化的3D人物角生成,实现个人UGC 3D形象定制。
**支持端到端生成低多边形low-poly模型,自适应生成几百至数千面的三角mesh,面数更低的同时可保证模型细节效果,用于游戏引擎渲染效果更佳。
3D小游戏创作支持上传一张头像并选择角模板,一键生成个人专属IP角的游戏动画视频,让普通人也可以打造一款属于自己的3D小游戏。
值得一提的是,呈现3D创作管线核心流程。通过模块化的节点设计搭建,其中包含3D角生成与3D道具生成。用户仅需加载模板,调整节点生成参数,即可一键生成具有特定风格和特征的3D资产,进一步降低专业用户使用门槛,大幅改进3D创作管线效率。
混元3D生成大模型2.0版本开源,几何结构与纹理彩全面升级
混元3D生成大模型1.0在去年9月全面开源,是业界**同时支持文字、图像生成3D的开源大模型。2.0版本也依然同时支持文、图生3D的能力,此外,通过将几何、纹理解耦生成,2.0版本还在生成效果上得到**提升,在几何结构上更加精细,纹理彩更加丰富。
3D生成模型主要包括几何和纹理生成两部分,其中,几何大模型专注于捕捉物体的形状、结构和空间关系,而纹理大模型则专注于颜、细节和表面特征。这种专注使得每个模型能在其领域内进行更深入的学习和优化,而几何与纹理解耦生成的方式,让整体生成能力达到更高上限,能够生成更为精细和真实的3D结果。
几何大模型和纹理大模型各自表现优异。其中,几何大模型由Hunyuan3D-DiT模型和Hunyuan ShapeVAE组成,能实现超高**的白模生成,几乎达到了设计师手工建模的水平。而纹理大模型Hunyuan3D-Paint采用多视图扩散生成的方案,可以基于用户输入的参考图像对生成的几何白模进行纹理贴图。不仅如此,还能支持对用户任意输入的几何模型进行任意文本或图像引导的纹理生成。
腾讯混元从定量和定两个维度进行了评估。在收集的 In-the-wild 测试集上,对 3D 生成质量进行了定量评估。不论是端到端最终3D资产的质量,还是几何模型生成的几何结构以及纹理基模型生成纹理的质量,Hunyuan3D-2.0 的整体表现均优于当前业界包括闭源模型在内的***的模型。
整体模型比较
几何模型比较
在定评估方面,从整体满意度、3D 物体质量和指令遵循三个维度进行用户主观评估,结果显示,Hunyuan3D-2.0 在生成质量上优于当前***的开源模型。
3D生成可视化比较
纹理结果生成可视化比较
在实际应用上,混元 3D 生成大模型此前也已经开始应用于UGC 3D创作、商品素材合成、游戏3D资产生成等司内业务及场景。比如,混元3D生成能力也开始应用于腾讯内部游戏业务,其生成3D质量已能满足部分游戏3D资产标准,包括几何布线合理、贴图准确与骨骼蒙皮合理等。通过混元3D创作平台的助力,此前,腾讯地图也已基于腾讯混元3D大模型,发布了自定义3D导航车标功能,支持用户创作个化的 3D 导航车标,相比传统的3D车标重建方案速度提升了91%,有效提升了用户使用体验。
腾讯混元3D负责人郭春超表示:“随着3D AIGC技术快速迭代,3D技术应用落地进程也在不断加快。混元3D生成大模型从1.0版本的率先开源,到快速升级2.提升创作效率,让3D大模型技术在各行各业发挥价值。混元也会持续为开源社区贡献力量,一起探索3D生成技术和应用,共创良好生态。”





发表评论