核心技术

基于15位博士近20年的人工智能技术研究积累,魔珐科技在计算机图形学及AI核心技术各项技术上都取得了重大突破,全栈自研核心技术体系,全维度攻克了围绕智能化平台化虚拟人及虚拟内容技术难题。

xmov
xmov
xmov
xmov
xmov
xmov
xmov
xmov
xmov
xmov
xmov

智能建模智能绑定

xmov

核心美术能力

xmov

智能特效

xmov

实时引擎渲染

xmov

机器人
流程自动化

xmov

云端协作流程管理

xmov
xmov

通过演员表演实时驱动
三维虚拟角色的高质量动画

xmov

基于单个RGB摄像头的三维
身体运动捕捉和合成技术

xmov

高质量实时解算技术
(毛发和布料解算)

xmov

基于单个RGB摄像头的三维人脸
表情、眼神实时捕捉和迁移技术

xmov

虚拟形象的高质量建模、
绑定、材质灯光以及渲染

xmov

基于单个RGB摄像头的
三维 AI 人脸建模技术

xmov

真人和虚拟人直播互动

xmov
xmov

基于文本实时生成虚拟人的语音和三维动画技术(TTSA)

使用业界先进的深度学习技术,基于文本实时自动生成高质量的虚拟人的语音和动画数据,实现了从简单的语音助手到有形象可交互的虚拟数字助手的转变,可以让客户用最自然的方式和虚拟人进行对话。

xmov

基于真人语音输入实时生成虚拟人三维动画技术(STA)

通过魔珐的语音合成动画(Speech To Animation)技术,可以驱动虚拟人实时合成嘴型动画、面部表情、肢体动作等,且合成的内容和语音信息高度的匹配,使虚拟数字人可以像真人一样生动逼真,表现自然流畅。

xmov

有感情的语音合成(ETTS)

ETTS(emotional text to speech)是有感情的tts(语音合成),一般的tts是比较机械化,etts则是在tts过程中,保留类似真人的音调和韵律,听起来更有感情。

xmov

对话系统(NLP)

对用户的问题进行处理,理解用户的语义、意图,再进行匹配生成对应的回复。

xmov

智能动作生成

在TTSA或者STA中使用,理解语义,然后根据语义匹配或者实时生成对应的动作和表情

xmov

音色转换技术(VC)

基于语音的音色转换技术,将初始音色的声音通过魔珐自研的VC算法可实时转换成目标音色的音频进行输出。