MIMO简介

MIMO是一个用于可控视频合成的通用模型，能够根据简单的用户输入，合成具有可控属性（如角色、动作和场景）的视频。它通过编码2D视频到紧凑的空间代码，并考虑视频发生的固有3D特性，实现了对任意角色的高级可扩展性、对新3D动作的通用性以及对交互式现实场景的适用性。

MIMO主要功能

空间分解策略：将视频片段分解为主人、底层场景和浮动遮挡三个空间组件，并基于3D深度进行层次化处理。这种分解方式使得用户能够灵活地控制合成过程，实现空间动作表达以及3D感知的场景交互。
用户输入多样性：允许用户输入多种类型的数据，如单张角色图片、动作序列、场景视频/图片或直接的驱动视频，模型能够将目标属性嵌入到潜在空间构建目标代码，并对驱动视频进行空间感知分解编码，从而实现直观的属性控制合成。
先进的可扩展性与通用性：在统一框架下，MIMO能够同时实现对任意角色的高级可扩展性、对新3D动作的通用性以及对交互式现实场景的适用性，突破了传统3D和2D方法的局限。