Taobao3D
一键实现高质量 3D 内容生成,开启 3D/XR 电商购物新体验。
研究方向
我们的工作覆盖 3D 与 XR 全栈,从算法研发延展到引擎与应用。
3D 大模型
聚焦通用品类的高还原度 3D 模型生成。
- 3D 几何重建: 实现高还原度、细节丰富的雕塑级 3D Mesh 生成,几何细节一致性优异,还原效果接近真实物理结构;
- 材质大模型: 基于 3D 原生材质大模型的 PBR 材质解耦,输出高分辨率纹理贴图,可精准还原文字、Logo 等精细信息,同时支持透明与半透明材质的精确建模;
- 多模态 3D 生成: 融合文本、图片及视频等多模态输入,更精准地引导 3D 内容生成,显著提升模型的泛化能力与几何还原度(包括结构比例、遮挡区域补齐等);
- 网格生成: 在原生三维坐标空间中直接生成专业级 3D 网格模型,具备组件化建模能力,满足工业级精度需求。
3D 真人数字人
聚焦高保真、可驱动、易编辑的 3DGS 数字人生成与交互。
- 3DGS 可驱动重建: 融合多视角采集、SMPL-X 几何先验与 3DGS 动态表征,构建支持语音、手势、动作等多模态驱动的 3D 真人数字人资产;
- 4DGS 体积视频: 突破服饰和发型限制,通过时序动态重建完整捕捉裙摆、发丝、宽松服装等复杂物理运动,提升动态表现力与创意自由度;
- 前馈式 3D 数字人: 支持单图/多图前馈推理,实现骨骼动画自然驱动、面部换妆、身体换衣等一体化编辑能力;
- 业务应用: 以 3D 导购数字人形态服务淘宝 Vision 未来旗舰店,以 3D 服饰模特数字人形态合作伯希和、米兰冬奥 - 李宁等品牌。
端侧 3D 引擎
自研跨平台、功能完整好用且久经业务验证的 3D 引擎。
- 运行时: 支持 Metal、Vulkan、OpenGL、WebGL 等主流图形后端,并提供 TypeScript 接口降低业务开发门槛;
- 工作流: 配套完整的生产工作流,从辅助建模插件到模型自动优化管线,与运行时紧密协同,实现高品质 3D 素材的规模化生产;
- 3D Agent: 借助 VLM、2D/3D 生成算法以及 AI Coding 技术,构建 Agentic 3D 工作流 加速低门槛、轻互动但高质量的 3D 应用开发;
- 业务应用: 已落地于库鸥(3D 模型预览)、淘宝人生(敦煌博物馆、迪士尼 100 周年、淘宝人生 2)、手猫 3D、天猫新品、Taobao Vision、超影计划等多项业务。