論文の概要: LiveAct: Towards Real-Time Multi-Agent World Models with Heterogeneous Action Interfaces

• arxiv url: http://arxiv.org/abs/2610.29408v1
• Date: Wed, 21 Oct 2026 08:34:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.237045
• Title: LiveAct: Towards Real-Time Multi-Agent World Models with Heterogeneous Action Interfaces
• Title（参考訳）: LiveAct: 異種アクションインタフェースを用いた実時間マルチエージェント世界モデルを目指して
• Abstract要約: マルチエージェント・ビデオワールド・モデリングについて検討し、1つのモデルが複数の制御エージェントに対して共同視覚的未来を生成する。 この分解を反映した2つのコンポーネントからなるヘテロジニアス・アクション・インタフェース(HAI)を中心にしたLiveActを紹介する。 ゲームとマルチロボット操作にまたがる6つのマルチエージェントソースの定式化をインスタンス化し、視覚的品質、アクションフォロー、エージェント属性、遅延を評価する。
• 参考スコア（独自算出の注目度）: 31.507055616170675
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Interactive video world models predict how an environment evolves under user actions, but most existing systems assume one controlled agent and one task-specific action interface. We study multi-agent video world modeling, where one model generates a joint visual future for multiple controlled agents while interpreting heterogeneous controls ranging from binary game buttons to continuous robot commands. This task presents two complementary challenges. First, every agent-indexed action stream must control its intended visual entity independently. Second, the model must adapt the meaning of each control variable across different tasks, where the same tensor dimension may denote an attack, steering command, or robot command. We introduce LiveAct, centered on a Heterogeneous Action Interface (HAI) whose two components mirror this decomposition. To support independent control, Agent-Aware Spatial Modulation uses language-driven spatial gates and agent-specific attention to bind each action stream to its intended visual agent. To accommodate heterogeneous controls, Schema-Guided Action Adaptation describes each control variable in language and modulates its semantic token with the synchronized numerical value. We further transfer the complete interface to a blockwise causal generator through teacher forcing and rollout-aware distribution matching, enabling efficient streaming generation while retaining agent-specific control and action semantics. We instantiate the formulation on six multi-agent sources spanning games and multi-robot manipulation, and evaluate visual quality, action following, agent attribution, and latency. Across games and robot manipulation, LiveAct reaches 0.898 and 0.942 agent-attribution accuracy without agent locations or identity crops, and the causal generator attains 17.70 FPS at $512\times 448$.
• Abstract（参考訳）: インタラクティブなビデオワールドモデルは、ユーザアクションの下で環境がどのように進化するかを予測するが、既存のシステムでは、1つのコントロールエージェントと1つのタスク固有のアクションインターフェースを前提としている。 マルチエージェント・ビデオ・ワールド・モデリングについて検討し、一つのモデルが2つのゲームボタンから連続ロボットコマンドまでの異種制御を解釈しながら、複数の制御エージェントの視覚的未来を生成する。 この課題は2つの相補的な課題を提起する。 まず、エージェントインデックスされたアクションストリームは、その意図した視覚的エンティティを独立して制御する必要がある。 第二に、同じテンソル次元がアタック、ステアリングコマンド、ロボットコマンドを示す場合、モデルは異なるタスク間で各制御変数の意味を適応させなければならない。 この分解を反映した2つのコンポーネントからなるヘテロジニアス・アクション・インタフェース(HAI)を中心にしたLiveActを紹介する。 エージェント・アウェア空間変調は、独立した制御をサポートするために、言語駆動の空間ゲートとエージェント固有の注意を使って、各アクションストリームを意図した視覚エージェントにバインドする。 異種制御に対応するため、Schema-Guided Action Adaptationは言語の各制御変数を記述し、そのセマンティックトークンを同期数値で変調する。 さらに,教師の強制とロールアウト対応の分散マッチングを通じて,完全なインターフェースをブロックワイズ因果生成器に転送し,エージェント固有の制御とアクションセマンティクスを維持しつつ,効率的なストリーミング生成を可能にする。 ゲームとマルチロボット操作にまたがる6つのマルチエージェントソースの定式化をインスタンス化し、視覚的品質、アクションフォロー、エージェント属性、遅延を評価する。 ゲームやロボット操作全体で、LiveActはエージェントの位置やアイデンティティの作物を使わずに0.898および0.942のエージェント属性精度に達し、因果生成器は512\times 448$で17.70 FPSに達する。

関連論文リスト

• AR-WAM: A Visual-Conditioned Agent-Ready World Action Model for Robotic Manipulation [31.9606890046955]
  視覚-言語-アクションモデルと世界アクションモデルはまだ操作タスクを指定するために自然言語命令に依存している。 本稿では、言語を2つの相補的な条件で置き換える視覚条件付きエージェント対応世界アクションモデルAR-WAMを提案する。 RoboTwin 2.0、RMBench、および本物のAstribot S1デュアルアームプラットフォームでは、AR-WAMは標準操作における最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-09-20T11:55:26Z)
• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players [87.87842088508553]
  対話型シミュレーションのための生成的マルチエージェント世界モデルを提案する。 本モデルでは,映像の忠実度,アクション制御性,およびスロットベースおよび高密度アテンションベースライン上でのエージェント間整合性を改善する。
  論文  参考訳（メタデータ） (2026-05-27T17:59:31Z)
• MultiWorld: Scalable Multi-Agent Multi-View Video World Models [36.970254855945484]
  マルチエージェント多視点世界モデリングのための統合フレームワークである textbfMultiWorld を提案する。 高精度なマルチエージェント制御を実現するためのマルチエージェント条件モジュールを提案する。 マルチプレイヤーゲーム環境とマルチロボット操作タスクの実験により、MultiWorldはビデオの忠実度、アクションフォロー能力、マルチビューの一貫性においてベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-20T17:52:15Z)
• ActionParty: Multi-Subject Action Binding in Generative Video Games [117.52562594944679]
  ActionPartyは、ゲーム生成のための制御可能な多目的世界モデルである。 46の多様な環境において最大7人のプレイヤーを同時に制御できる最初のビデオワールドモデルを実証する。
  論文  参考訳（メタデータ） (2026-04-02T17:59:58Z)
• GenAgent: Scaling Text-to-Image Generation via Agentic Multimodal Reasoning [54.42973725693]
  我々は,エージェント型マルチモーダルモデルを用いて,視覚的理解と生成を統一したGenAgentを導入する。 GenAgentはGenEval++とWISEのベースジェネレータ(FLUX.1-dev)のパフォーマンスを大幅に向上させる。 本フレームワークは,1) 様々な機能を持つジェネレータへのクロスツール一般化,2) インタラクションラウンド間で一貫した改善を伴うテスト時間スケーリング,3) タスクに自動的に適応するタスク適応推論の3つの重要な特性を示す。
  論文  参考訳（メタデータ） (2026-01-26T14:49:04Z)
• Diffusion Forcing for Multi-Agent Interaction Sequence Modeling [52.769202433667125]
  MAGNetはマルチエージェントモーション生成のための統合された自己回帰拡散フレームワークである。 フレキシブルな条件付けとサンプリングを通じて、幅広いインタラクションタスクをサポートする。 緊密に同期された活動と、ゆるやかに構造化された社会的相互作用の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-12-19T18:59:02Z)
• CLAS: Coordinating Multi-Robot Manipulation with Central Latent Action Spaces [9.578169216444813]
  本稿では,異なるエージェント間で共有される学習された潜在行動空間を通じて,マルチロボット操作を協調する手法を提案する。 シミュレーションされたマルチロボット操作タスクにおいて本手法を検証し,サンプル効率と学習性能の観点から,従来のベースラインよりも改善したことを示す。
  論文  参考訳（メタデータ） (2022-11-28T23:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。