文章详情

腾讯ARC实验室联合香港城市大学近日震撼发布了一项名为“AnimeGamer”的创新性研究项目，这款独特的工具能够实现无限的动漫人生模拟，并具备预测下一游戏状态的强大能力。这意味着，用户将有机会以前所未有的方式沉浸于自己喜爱的动漫世界中，通过开放式的自然语言指令，与游戏中的动态环境进行实时互动。

化身动漫主角，畅享无限互动

AnimeGamer最引人注目的特点在于其能够提供可以生成主体一致的无限长度的动画视频，还给里面的角色配置了体力、心情等数据。用户不仅可以扮演经典动漫中的角色，例如《悬崖上的金鱼姬》里的宗介，更可以通过简单的语言指令与周围的世界进行交互。

更令人兴奋的是，AnimeGamer能够打破次元壁，让来自不同动漫作品的角色实现梦幻般的联动。

想象一下，《魔女宅急便》的琪琪与《天空之城》的巴鲁相遇，琪琪向巴鲁传授她的飞行技巧，这样的场景在AnimeGamer中将成为可能。这款工具展现了其强大的泛化能力，能够理解和执行不同动漫角色和动作之间的互动，为用户开启了无限的创意空间。

技术突破:多模态大语言模型驱动沉浸体验

AnimeGamer之所以能够实现如此强大的功能，其核心在于采用了先进的多模态大型语言模型（MLLMs）。该模型负责生成每一帧游戏状态，包括生动形象的角色动画以及角色各项数值的更新。

AnimeGamer的训练过程分为三个关键阶段:首先，通过一个编码器对包含动作信息的多模态数据进行建模，并训练一个基于扩散模型的解码器来重建视频，同时还会输入表示动作强度的运动范围信息;其次，训练一个MLLM，以用户的历史指令和当前的游戏状态作为输入，预测下一个游戏状态的各种表现;最后，通过一个优化阶段，利用MLLM的预测结果对解码器进行微调，从而进一步提升生成动画的质量。

AnimeGamer的问世，无疑为动漫文化爱好者和人工智能研究领域注入了新的活力。其通过自然语言交互驱动的无限动漫人生模拟以及对未来游戏状态的预测等核心功能，充分展示了多模态大语言模型在创意内容生成方面的巨大潜力。随着更多功能的解锁和完善，AnimeGamer有望成为一个充满无限可能和惊喜的动漫互动新平台。

项目入口:https://top.aibase.com/tool/animegamer