論文の概要: MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

• arxiv url: http://arxiv.org/abs/2606.17800v1
• Date: Tue, 16 Jun 2026 11:25:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.399681
• Title: MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model
• Title（参考訳）: MaineCoon:リアルタイムオーディオ・ビジュアルソーシャルワールドモデル
• Authors: Lichen Bai, Tianhao Zhang, Shitong Shao, Dingwei Tan, Qiyu Zhong, Zhengpeng Xie, Haopeng Li, Qinghao Huang, Dandan Shen, Tengjiao Ji, Wei Wang, Peicheng Wu, Yuxuan Zhao, Xiangyu Zhu, Welly Luo, Shurui Yang, Zeke Xie,
• Abstract要約: MaineCoonは、リアルタイムストリーミング生成とサブ秒間インタラクションが可能な、初めてのリアルタイムオーディオ-視覚自動回帰モデルである。 われわれの知る限りでは、ManeeCoonはソーシャル・インタラクティブ・アプリケーション向けに最適化された初めてのリアルタイム・オーディオ・ビジュアル生成モデルでもある。
• 参考スコア（独自算出の注目度）: 24.148226400006575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an increasing majority of global video content is consumed on social platforms for interactive social purposes, video generation models built for social worlds are important but largely overlooked by previous studies. In this work, we define the position of social world models and build a prototype model as the first step towards this goal. While previous world models successfully simulate physical environments or gaming world exploration, they remain fundamentally detached from human-centric social dynamics. To bridge this gap as the first step to social world models, we present MaineCoon, the first real-time audio-visual autoregressive model that has 22B parameters and is capable of real-time streaming generation and sub-second interaction, with a record-breaking frame rate of up to 47.5 FPS, on a single GPU. To the best of our knowledge, MaineCoon is also the first real-time audio-visual generation model specifically optimized for social-interactive applications. To enable efficient and stable training, we introduce several novel techniques into MaineCoon, including self-resampling, cross-modal representation alignment, domain-aware preference optimization, and reinforced online-policy distillation (ROPD). We also design the first agentic streaming inference framework that supports thousand-second-scale or even longer generation while mitigating drift with agentic cache management and prompt planing. These innovations significantly accelerate training while optimizing real-time inference performance. We believe this work not only sets a new state-of-the-art (SOTA) performance benchmark for high-quality, low-latency, and long-horizon audio-visual autoregressive models, but also points out the paradigm shift desired for next-generation AI-native social platforms.
• Abstract（参考訳）: グローバルなビデオコンテンツは、インタラクティブなソーシャルな目的のためにソーシャルプラットフォームで消費されることが多いため、ソーシャルな世界のために構築されたビデオ生成モデルは重要であるが、以前の研究ではほとんど見過ごされがちである。 本研究では,この目標に向けた第一歩として,ソーシャルワールドモデルの位置を定義し,プロトタイプモデルを構築する。 以前の世界モデルは物理的な環境やゲームの世界探索をシミュレートすることに成功したが、それらは基本的に人間中心の社会力学から切り離されている。 ソーシャルワールドモデルの第1ステップとしてこのギャップを埋めるために、MineCoonを紹介します。これは、22Bパラメータを持ち、1つのGPU上で最大47.5FPSのフレームレートで、リアルタイムストリーミング生成とサブ秒間インタラクションが可能な、初めてのリアルタイムオーディオ-視覚自動回帰モデルです。 われわれの知る限りでは、ManeeCoonはソーシャル・インタラクティブ・アプリケーション向けに最適化された初めてのリアルタイム・オーディオ・ビジュアル生成モデルでもある。 効率的かつ安定したトレーニングを実現するため,我々は,自己修復,クロスモーダルな表現アライメント,ドメイン認識の嗜好最適化,強化オンラインポリティクス蒸留(ROPD)など,いくつかの新しい手法を導入している。 また,エージェントキャッシュ管理とプロンプトプランニングによるドリフトを緩和しながら,数千秒単位のスケール,あるいはさらに長い生成をサポートする,最初のエージェントストリーミング推論フレームワークを設計する。 これらのイノベーションは、リアルタイムの推論性能を最適化しながら、トレーニングを著しく加速します。 この研究は、高品質、低レイテンシ、長距離オーディオ視覚自動回帰モデルのための新しい最先端(SOTA)パフォーマンスベンチマークを設定できるだけでなく、次世代のAIネイティブなソーシャルプラットフォームで望まれるパラダイムシフトも指摘している。

関連論文リスト

• Mamba-Enhanced Implicit Motion Learning for Audio-Driven Portrait Animation [7.715774279707922]
  本研究では,1つの静止画像とオーディオから,現実的で時間的に整合した人間の動画を生成するための,新しい暗黙の移動フレームワークを提案する。 私たちのアプローチでは、レンダリングからモーション予測を分離する2段階のパイプラインを使用します。
  論文  参考訳（メタデータ） (2026-06-02T09:43:55Z)
• Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory [53.39687409541093]
  Matrix-Game 3.0は、720pのリアルタイムビデオ生成用に設計されたメモリ拡張型インタラクティブワールドモデルである。 データ、モデル、推論にまたがる体系的な改善を導入する。 実験結果から, Matrix-Game 3.0は最大40FPSのリアルタイム生成を実現し, 5Bモデルで720pの解像度を実現した。
  論文  参考訳（メタデータ） (2026-04-10T06:00:09Z)
• Towards Real-Time Human-AI Musical Co-Performance: Accompaniment Generation with Latent Diffusion Models and MAX/MSP [10.7598634894472]
  本稿では,リアルタイムな人間-AI音楽の協調演奏のための枠組みについて述べる。 このシステムは、MAX/MSPのフロントエンド処理によるリアルタイムオーディオ入力、バッファリング、再生を、OSC/UDPメッセージを介して通信する生成モデルを実行するPython推論サーバと組み合わせる。
  論文  参考訳（メタデータ） (2026-04-08T21:30:05Z)
• JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation [112.614973927778]
  ジョイントオーディオビデオ生成(JAVG)は、テキスト記述から同期的で意味的に整合した音と視覚を生成する。 本稿では,JAVGの統一モデリングと最適化のためのフレームワークであるJavisDiT++を提案する。 本モデルでは,約100万の公開トレーニングエントリで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-22T12:44:28Z)
• Walk through Paintings: Egocentric World Models from Internet Priors [65.30611174953958]
  本稿では,エゴセントリック・ワールド・モデル(EgoWM)について述べる。 我々は、スクラッチからトレーニングするよりも、インターネット規模のビデオモデルのリッチワールドを再利用し、軽量なコンディショニング層を通じてモーターコマンドを注入する。 当社のアプローチは,3-DoF移動ロボットから25-DoFヒューマノイドまで,エボディメントやアクションスペースを自然に拡張する。
  論文  参考訳（メタデータ） (2026-01-21T18:59:32Z)
• MAD: Motion Appearance Decoupling for efficient Driving World Models [94.40548866741791]
  本稿では,一般的な映像モデルを制御可能な運転世界モデルに変換する,効率的な適応フレームワークを提案する。 鍵となるアイデアは、外見合成からモーションラーニングを分離することである。 私たちのMAD-LTXモデルであるLTXへのスケーリングは、すべてのオープンソース競合より優れています。
  論文  参考訳（メタデータ） (2026-01-14T12:52:23Z)
• Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length [57.458450695137664]
  提案するLive Avatarは,効率的,高忠実,無限長アバター生成のためのアルゴリズム設計のフレームワークである。 ライブアバターは、このスケールで実用的でリアルタイムで高忠実なアバター生成を実現するのが最初である。
  論文  参考訳（メタデータ） (2025-12-04T11:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。