核心技术

基于15位博士近20年的人工智能技术研究积累,魔珐科技在计算机图形学及AI核心技术各项技术上都取得了重大突破,全栈自研核心技术体系,全维度攻克了围绕智能化平台化虚拟人及虚拟内容技术难题。

智能建模智能绑定

核心美术能力

智能特效

实时引擎渲染

机器人
流程自动化

云端协作流程管理

通过演员表演实时驱动
三维虚拟角色的高质量动画

基于单个RGB摄像头的三维
身体运动捕捉和合成技术

高质量实时解算技术
(毛发和布料解算)

基于单个RGB摄像头的三维人脸
表情、眼神实时捕捉和迁移技术

虚拟形象的高质量建模、
绑定、材质灯光以及渲染

基于单个RGB摄像头的
三维 AI 人脸建模技术

真人和虚拟人直播互动

基于文本实时生成虚拟人的语音和三维动画技术(TTSA)

使用业界先进的深度学习技术,基于文本实时自动生成高质量的虚拟人的语音和动画数据,实现了从简单的语音助手到有形象可交互的虚拟数字助手的转变,可以让客户用最自然的方式和虚拟人进行对话。

基于真人语音输入实时生成虚拟人三维动画技术(STA)

通过魔珐的语音合成动画(Speech To Animation)技术,可以驱动虚拟人实时合成嘴型动画、面部表情、肢体动作等,且合成的内容和语音信息高度的匹配,使虚拟数字人可以像真人一样生动逼真,表现自然流畅。

有感情的语音合成(ETTS)

ETTS(emotional text to speech)是有感情的tts(语音合成),一般的tts是比较机械化,etts则是在tts过程中,保留类似真人的音调和韵律,听起来更有感情。

对话系统(NLP)

对用户的问题进行处理,理解用户的语义、意图,再进行匹配生成对应的回复。

智能动作生成

在TTSA或者STA中使用,理解语义,然后根据语义匹配或者实时生成对应的动作和表情

音色转换技术(VC)

基于语音的音色转换技术,将初始音色的声音通过魔珐自研的VC算法可实时转换成目标音色的音频进行输出。