論文の概要: InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants
- arxiv url: http://arxiv.org/abs/2610.33966v1
- Date: Sun, 25 Oct 2026 00:44:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.51002
- Title: InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants
- Title（参考訳）: InteractiveWorld: より良い対話型MLLMアシスタントを構築するための検証可能な人間中心環境
- Abstract要約: 我々は,人間とAIアシスタント間のクローズドループインタラクションのための,最初の検証可能な環境であるInteractiveWorldを提案する。
既存のロボット中心のシミュレータとは異なり、InteractiveWorldは、シーンを観察し、指示を理解し、独立して行動する人間のエージェントを案内する。
上に構築したInteractiveBenchは、エゴセントリックなAIアシスタントの最初のベンチマークで、6つのカテゴリに120のマルチターンタスクがある。
- 参考スコア（独自算出の注目度）: 42.28503784163009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: People have long dreamed of an assistant that is always there to guide them and remind what they forget, from new dishes to lost keys. Powered by multimodal large language models (MLLMs), egocentric AI assistants on wearable devices are bringing this dream within reach: they see what the user sees and give instructions for user's physical work when necessary. However, testing such assistance is challenging and usually requires real people. The expensive and rare real interaction data leaves a key question unanswered: Can today's MLLMs truly help people in physical world? To answer this question, we propose InteractiveWorld, the first verifiable environment for closed-loop interaction between human and AI assistant. Unlike existing robot-centric simulators, InteractiveWorld lets the assistant guide a human agent who observes the scene, understands instructions, and acts independently. It thus realistically simulates how AI assistant collaborates with human: the assistant instructs, the human acts, and the environment executes actions and updates what they see next. Building on it, we introduce InteractiveBench, the first dynamic benchmark for egocentric AI assistants, with 120 multi-turn tasks across six categories. In each task, the assistant guides the human in real time, and every instruction shapes the outcome, which is scored by verifiable, state-based rewards. Experiments with 12 frontier MLLMs show they are still far from reliable assistants. Even the strongest model, Claude Fable 5.1, achieves at most 20% and 25% on long-horizon Guidance and Planning tasks, respectively. Overall, our work offers a verifiable platform and a rigorous evaluation set, laying a solid foundation for research on interactive MLLM assistants that truly help people in the physical world.
- Abstract（参考訳）: 人々は、いつもそこにいるアシスタントを夢見ていて、新しい料理から失われたキーまで、何を忘れているかを思い出します。
マルチモーダルな大言語モデル(MLLM)によって駆動される、ウェアラブルデバイス上のエゴセントリックなAIアシスタントは、この夢に到達しようとしている。
しかしながら、そのようなアシストをテストするのは難しく、通常、実際の人を必要とします。
今日のMLLMは、物理的な世界の人々を本当に助けることができますか?
この質問に答えるために,人間とAIアシスタント間のクローズドループインタラクションのための最初の検証可能な環境であるInteractiveWorldを提案する。
既存のロボット中心のシミュレータとは異なり、InteractiveWorldは、シーンを観察し、指示を理解し、独立して行動する人間のエージェントを案内する。
これにより、AIアシスタントが人間とどのように協力するかを現実的にシミュレートする。アシスタントは指示し、人間は行動し、環境は次に見えるものを更新します。
上に構築したInteractiveBenchは、エゴセントリックなAIアシスタントのための最初の動的ベンチマークで、6つのカテゴリに120のマルチターンタスクがある。
各タスクにおいて、アシスタントは人間をリアルタイムでガイドし、各命令は、検証可能な状態ベースの報酬によって得られる結果を形成する。
12のフロンティアMLLMによる実験は、信頼できるアシスタントには程遠いことを示している。
最強モデルであるClaude Fable 5.1でさえ、それぞれ20%と25%を長距離誘導と計画のタスクで達成している。
全体として、我々の研究は検証可能なプラットフォームと厳格な評価セットを提供しており、対話型MLLMアシスタントの研究の基盤を築き、物理的な世界の人々を真に助けています。
関連論文リスト
- HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos [74.43500240121476]
我々はHumanXについて紹介する。HumanXは人間の動画を、ヒューマノイドのための汎用的で現実的なインタラクションスキルにコンパイルするフルスタックのフレームワークである。
HumanXは、従来の方法より8倍高い一般化成功を達成する。
論文 参考訳（メタデータ） (2026-02-02T18:53:01Z) - Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。
この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。
我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2025-08-06T17:46:23Z) - AssistantX: An LLM-Powered Proactive Assistant in Collaborative Human-Populated Environment [16.397644118873636]
AssistantXは、現実世界のシナリオにおける自律的な操作のために、高精度に設計されたプロアクティブアシスタントである。
AssistantXは4つの特殊なLLMエージェントからなるマルチエージェントフレームワークを採用しており、それぞれが知覚、計画、意思決定、反射的レビューに特化している。
提案手法の有効性を実証し,AssistantXがユーザの指示に反応し,緊急対応戦略を積極的に調整し,タスク完了を確実にするために積極的に支援を求めることを示す。
論文 参考訳（メタデータ） (2024-09-26T09:06:56Z) - HoloAssist: an Egocentric Human Interaction Dataset for Interactive AI
Assistants in the Real World [48.90399899928823]
この研究は、物理的な世界でのタスクを実行することで人間を対話的に導くインテリジェントエージェントを開発するための、より広範な研究努力の一環である。
大規模なエゴセントリックなヒューマンインタラクションデータセットであるHoloAssistを紹介する。
人間のアシスタントがミスを正し、タスク完了手順に介入し、環境に指示を下す方法について、重要な知見を提示する。
論文 参考訳（メタデータ） (2023-09-29T07:17:43Z) - HomeRobot: Open-Vocabulary Mobile Manipulation [107.05702777141178]
Open-Vocabulary Mobile Manipulation (OVMM) は、目に見えない環境で任意のオブジェクトを選択し、命令された場所に配置する問題である。
HomeRobotには2つのコンポーネントがある。シミュレーションコンポーネントは、新しい高品質のマルチルームホーム環境に、大規模で多様なキュレートされたオブジェクトセットを使用する。
論文 参考訳（メタデータ） (2023-06-20T14:30:32Z) - Human Decision Makings on Curriculum Reinforcement Learning with
Difficulty Adjustment [52.07473934146584]
我々は,カリキュラム強化学習結果を,人的意思決定プロセスから学ぶことで,難しすぎず,難しすぎるような望ましいパフォーマンスレベルに導く。
本システムは非常に並列化可能であり,大規模強化学習アプリケーションの訓練が可能となる。
強化学習性能は、人間の所望の難易度と同期してうまく調整できることが示される。
論文 参考訳（メタデータ） (2022-08-04T23:53:51Z) - Creating Multimodal Interactive Agents with Imitation and
Self-Supervised Learning [20.02604302565522]
SFからの一般的なビジョンは、ロボットはいつか私たちの物理的空間に住み、世界は私たちのように感じ、肉体労働を補助し、自然言語を通して私たちとコミュニケーションする、ということだ。
本稿では,仮想環境の単純化により人間と自然に対話できる人工エージェントを設計する方法について検討する。
シミュレーションされた世界における人間と人間の相互作用の模倣学習は、自己指導型学習と合わせて、多モーダルな対話型エージェントを作るのに十分であることを示す。
論文 参考訳（メタデータ） (2021-12-07T15:17:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。