論文の概要: Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds

• arxiv url: http://arxiv.org/abs/2611.08286v1
• Date: Thu, 05 Nov 2026 16:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.585798
• Title: Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds
• Title（参考訳）: インタラクティブなビジュアルジム:インタラクティブな世界におけるシミュレーションされたユーザによる視覚インタラクションモデルの評価
• Abstract要約: ビジュアルインタラクションモデルのクローズドループ評価とトレーニングのためのフレームワークであるInteractive Visual Gymを紹介する。 日常的なタスクやヒューマンアラインな行動空間を料理、家庭内操作、モバイルインターフェースドメインで再現する。 フレームワークを315のインタラクションシナリオを持つベンチマークであるIVG-Benchとしてインスタンス化する。
• 参考スコア（独自算出の注目度）: 76.51096229785286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual interaction models that support users during ongoing physical tasks require evaluation in closed loop, where assistant responses can change subsequent user behavior and task outcomes. Existing benchmarks largely rely on offline replay and therefore cannot capture these effects. We introduce Interactive Visual Gym, a framework for closed-loop evaluation and training of visual interaction models through joint simulation of executable task environments and human users. We contribute three simulators that recreate everyday tasks and human-aligned action spaces across cooking, household manipulation, and mobile-interface domains, together with a persona-conditioned user simulation harness that collaborates with the assistant while incorporating controlled execution errors and other out-of-plan behaviors. We instantiate the framework as IVG-Bench, a benchmark with 315 interaction scenarios. Evaluating state-of-the-art VLMs as visual interaction models reveals substantial limitations: the best-performing model, Gemini 4 Argon, completes only 53.4% of tasks within the time limit, exhibits significant weaknesses in factual grounding and actionable guidance, and is often too slow to prevent errors when response latency is considered. We verify our evaluation protocol with a human study which finds 78.5% agreement between our interaction-quality metric and participant preferences. We further show that the environments provide useful learning signals: in a proof-of-concept GRPO experiment, closed-loop training improves both task success and interaction quality for Qwen3.5-4B model in our cooking environment.
• Abstract（参考訳）: 進行中の物理的タスクでユーザをサポートする視覚的インタラクションモデルは、クローズドループでの評価を必要とする。 既存のベンチマークはオフラインのリプレイに大きく依存しているため、これらの効果を捉えることはできない。 動作可能なタスク環境とユーザとの協調シミュレーションを通じて,視覚インタラクションモデルのクローズドループ評価とトレーニングを行うためのフレームワークであるInteractive Visual Gymを紹介する。 本研究では,日常的な作業やヒューマンアラインな行動空間を調理,家庭操作,モバイルインターフェースドメインにまたがって再現する3つのシミュレータと,制御された実行エラーやその他の計画外の動作を取り入れつつ,アシスタントと協調するペルソナ条件のユーザシミュレーションハーネスをコントリビュートする。 フレームワークを315のインタラクションシナリオを持つベンチマークであるIVG-Benchとしてインスタンス化する。 最高のパフォーマンスモデルであるGemini 4 Argonは、時間制限内でのタスクの53.4%しか完了せず、実際の接地や動作可能なガイダンスにおいて重大な弱点を示しており、応答遅延を考慮した場合のエラーを防ぐには遅すぎることが多い。 評価プロトコルを人間による研究で検証し,対話品質の指標と受講者の嗜好との間に78.5%の一致が認められた。 概念実証GRPO実験では,クローズドループトレーニングにより,調理環境におけるQwen3.5-4Bモデルのタスク成功とインタラクション品質が向上する。

関連論文リスト

• LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models [61.038310084204056]
  本稿では,ロボット基礎モデルの閉ループ視覚的堅牢性を評価するためのベンチマークであるLIBERO-VProを紹介する。 約196,000回にわたって3つの視覚言語行動モデルと3つの世界行動モデルを評価した。 以上の結果から,強い名目性能は視覚的接地や適応において重大な弱点を隠蔽する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-21T09:43:41Z)
• EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents [17.727481701114556]
  ツール使用エージェントのための対話型マルチモーダルベンチマークであるEgoBenchを紹介する。 我々は3段階の相乗的パイプラインを実装し、各タスクは視覚知覚とツール強化マルチホップ推論の併用を強制的に行うように設計されている。 また,エージェントのインタラクション能力を評価するために,EgoBench内のマルチエージェントシミュレーションユーザを開発した。
  論文  参考訳（メタデータ） (2026-05-27T01:28:15Z)
• Chain Of Interaction Benchmark (COIN): When Reasoning meets Embodied Interaction [12.219913017710125]
  現実的なロボット操作における対話的推論を評価するためのベンチマークであるCOINを紹介する。 まず、日々のシナリオでCOIN-50:50の対話タスクを構築し、因果依存タスクに必要なCOIN-Primitiveを作成する。 第2に、低コストな移動体AR遠隔操作システムを開発し、プリミティブタスク毎に50回のデモを行い、COIN-Primitiveデータセットを収集する。 第3に、CodeAsPolicy、VLA、言語条件付きH-VLAアプローチを評価するために、実行安定性と一般化ロバスト性に関する体系的評価指標を開発する。
  論文  参考訳（メタデータ） (2026-04-18T07:26:24Z)
• Interactive Tracking: A Human-in-the-Loop Paradigm with Memory-Augmented Adaptation [60.96010213186819]
  自然言語コマンドを使用していつでもトラッカーをガイドできる新しいパラダイムであるInteractive Trackingを導入する。 対話型トラッキングのための最初の大規模ベンチマークであるInteractTrackについて紹介する。 第3に,ユーザからのフィードバックから学習し,トラッキング動作を更新するために動的メモリ機構を利用する新しいベースラインであるInteractive Memory-Augmented Tracking (IMAT)を導入する。
  論文  参考訳（メタデータ） (2026-04-02T12:33:27Z)
• Proact-VL: A Proactive VideoLLM for Real-Time AI Companions [52.23988809605433]
  自動評価のために選択された2つのゲームシナリオ,コメンテータとガイドを通じて,AIコンパニオンをインスタンス化する。 Proact-VLは,マルチモーダル言語モデルを人間のような環境認識とインタラクションが可能な,能動的,リアルタイムな対話エージェントに形成するフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T19:02:46Z)
• From Perception to Action: An Interactive Benchmark for Vision Reasoning [51.11355591375073]
  Causal Hierarchy of Actions and Interactions (CHAIN)ベンチマークは、モデルが物理的制約に基づいて構造化されたアクションシーケンスを理解し、計画し、実行できるかを評価するために設計された。 CHAINは、受動的知覚からアクティブな問題解決、機械パズルのインターロックや3D積み重ね、パッキングといったタスクへと評価をシフトする。 以上の結果から,トップパフォーマンスモデルでは,物理構造や因果制約の内在化に苦慮し,信頼性の高い長期計画の作成に失敗することが多く,認識された構造を効果的に翻訳することができないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-24T15:33:02Z)
• Can foundation models actively gather information in interactive environments to test hypotheses? [43.42688356541211]
  基礎モデルはシングルターン推論において優れているが、動的環境におけるマルチターン探索に苦慮している。 これらのモデルを,経験から学び,適応し,情報を収集する能力に基づいて評価した。
  論文  参考訳（メタデータ） (2024-12-09T12:27:21Z)
• What to Say and When to Say it: Live Fitness Coaching as a Testbed for Situated Interaction [5.958765450103163]
  QEVDベンチマークとデータセットは、フィットネスコーチングの挑戦的かつ制御されながら現実的な領域における人間とAIの相互作用を探索するものだ。 このベンチマークでは、複雑な人間の行動を認識し、起こりうる誤りを特定し、リアルタイムで適切なフィードバックを提供するために、視覚言語モデルが必要である。 そこで本研究では,適切なタイミングで適切なフィードバックで人間の行動に非同期に応答できる,シンプルなエンドツーエンドストリーミングベースラインを提案する。
  論文  参考訳（メタデータ） (2024-07-11T00:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。