36氪最新报道 | 真人表演驱动动画形象,魔珐科技想用AI提升动画制作效率

2018年10月19日117

以下为36氪发布原文:


眼神、表情、动作、手势都可实时驱动虚拟形象表演。


动作捕捉技术在动画、游戏作品中已经屡见不鲜,然而动捕系统成本高、精度低、后期合成制作耗时长却是该行业的痛点,以暴雪公司为例,CG动画一秒钟耗费成本就达10万美金,一个游戏或动画制作完成则要数年时间。

那是否有技术能够实现动画行业的效率提升呢?近期,36氪接触到一家公司「魔珐科技」,推出了一套全栈式端到端三维表演动画解决方案,旨在实现实时、高效、高质量的动画制作。

三维表演动画解决方案怎么工作的呢? 真人演员通过光学捕捉摄像头和头戴式RGB摄像头,可以实时通过肢体、表情、手势、眼神等驱动屏幕上虚拟形象的表演,所有反馈都是即时性的

魔珐虚拟角色蘑菇酱实时驱动.png

魔珐科技创始人柴金祥介绍:基于计算机图形学和计算机视觉技术,魔珐科技Xmov让表演捕捉设备上摄像头的具备三维视觉感知能力。一方面可以捕捉表演者身体动作与道具移动等,另一方面能实时感知人脸上万个数据点,甚至眼神变化。


据悉,目前魔珐科技的AI表演动画解决方案可以实现多人(10人以上)的实时、高质量动作表情捕捉、动画驱动和绘制,这样一来可以实现自动化的动画制作流程,不需要在后期让动画师手动处理大量数据,以此提升制作效率,降低人力成本。


实时性上,为达到真人演员与屏幕上动画人物动作、眼神一致,魔珐科技运用了运动映射技术,从而实现了虚拟形象与真人演员动作、表情、手势、眼神完全实时同步,转换成更为自然的虚拟形象效果。这套技术也让虚拟偶像直播成为可能。


应用落地上,魔珐科技切入泛娱乐领域,提供了覆盖三维虚拟形象智能制作、AI表演动画捕捉、AI表演映射、后期制作的全流程的AI表演动画解决方案。


魔珐科技目标用户是影视动画、番剧、游戏和虚拟偶像等泛娱乐行业内容制作公司,收费模式有两种:按照内容制作收费,基于制作片源分钟数计费;和内容制作公司合作,为他们提供定制化的软硬件解决方案。据悉,目前公司已经与网易游戏\原力动画等知名影视、游戏动画制作公司合作。


此外,魔珐科技也将计算机视觉技术运用于餐饮场景。柴金祥告诉36氪,魔珐科技针对团餐市场推出了无人收银智慧餐饮解决方案,特别推出了人脸支付功能,旨在针对食堂等团餐场景,提升用户支付效率,减少拥挤排队现象。


据悉,魔珐科技基于计算机视觉和计算机图形学技术也在建立智能人机交互平台,通过智能摄像头的视觉感知能力让用户可以在虚拟内容中进行沉浸式创作和互动。该产品将于未来上线。


魔珐科技的团队均在计算机视觉和计算机图形学领域有多年学术、行业积累。团队核心成员来自卡内基梅隆、微软研究院、美国德州农工大学、中科院等。


创始人柴金祥博士是连续创业者,曾为好买衣联合创始人兼CTO,拥有过美国卡内基梅隆大学博士学位,是美国德州农工大学计算机科学与工程系的终身教授,曾获美国国家科学基金会杰出青年教授奖,在计算机视觉、计算机图形学、虚拟现实、人工智能领域多有建树。


36氪获悉,魔珐科技已获得数千万元级天使投资,红杉资本领投,东方富海、晨兴资本跟投,个人投资方还包括微软人工智能及微软研究事业部负责人沈向洋博士。

作者:郑铟@超人学院