論文の概要: V-ICAL Bench: Evaluating Video In-Context Learning for Multimodal Agents in Interactive Environments

• arxiv url: http://arxiv.org/abs/2609.15683v1
• Date: Mon, 14 Sep 2026 14:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 12:40:38.847341
• Title: V-ICAL Bench: Evaluating Video In-Context Learning for Multimodal Agents in Interactive Environments
• Title（参考訳）: V-ICAL Bench:インタラクティブ環境におけるマルチモーダルエージェントのためのビデオインテクスト学習の評価
• Abstract要約: In-Context Learning (ICL) は、モデルがパラメータを更新せずに例から適応できるようにする。 マルチモーダルエージェントにとって、ビデオから学ぶことはユニークな課題である。 マルチモーダルエージェントのためのビデオベースICLを評価するための新しいベンチマークであるV-ICALを紹介する。
• 参考スコア（独自算出の注目度）: 46.412600053136174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While In-Context Learning (ICL) enables models to adapt from exemplars without parameter updates, multimodal ICL remains largely underexplored, particularly regarding video demonstrations in interactive environments. For multimodal agents, learning from videos presents unique challenges: they must translate in-context demonstrations into executable policies, ground these policies in novel visual states, and iteratively refine actions based on environmental feedback. We introduce V-ICAL, a novel benchmark designed to evaluate video-based ICL for multimodal agents. Comprising 342 interactive tasks across 37 environments, V-ICAL utilizes human-curated demonstration videos as task-specific behavioral exemplars, evaluating agents through sustained interaction from a target initialization. The benchmark seamlessly connects in-context knowledge induction with core agentic capabilities, including state grounding, temporal memory, planning, and adaptation in dynamic environments. Extensive evaluations across 19 state-of-the-art multimodal agents reveal significant limitations: the best-performing model, Seed-2.1-Pro, achieves a score of only 54.4/100, while other leading models (e.g., Gemini-3.1-Pro, GPT-5.6) fail to surpass 50, far below the human baseline of 83.6. Controlled comparisons further demonstrate that current agents struggle to reliably translate video exemplars into effective policies, failing to yield consistent performance gains. Ultimately, V-ICAL exposes a critical gap in the ICL capabilities of multimodal agents, underscoring an urgent need for future research.
• Abstract（参考訳）: In-Context Learning (ICL) ではパラメータの更新なしにモデルが既存のモデルから適応できるが、マルチモーダルICLは、特にインタラクティブ環境におけるビデオデモに関して、ほとんど探索されていない。 マルチモーダルエージェントにとって、ビデオから学ぶことは、コンテキスト内でのデモンストレーションを実行可能なポリシーに変換し、これらのポリシーを新しい視覚状態に根ざし、環境フィードバックに基づいて反復的にアクションを洗練しなければなりません。 マルチモーダルエージェントのためのビデオベースICLを評価するための新しいベンチマークであるV-ICALを紹介する。 V-ICALは、37環境にわたる342の対話的なタスクを構成し、人間計算されたデモビデオをタスク固有の行動例として利用し、ターゲット初期化からの持続的な相互作用を通じてエージェントを評価する。 このベンチマークは、状態グラウンド、時間記憶、計画、動的環境への適応など、コンテキスト内知識誘導とコアエージェント機能とをシームレスに結合する。 最高のパフォーマンスモデルであるSeed-2.1-Proは54.4/100のスコアしか得られず、他の主要なモデル(例:Gemini-3.1-Pro、GPT-5.6)は83.6の基準よりはるかに低い50を超えなかった。 制御された比較により、現在のエージェントは、ビデオの例題を効果的なポリシーに確実に翻訳するのに苦労し、一貫したパフォーマンス向上を得られなかったことが示される。 最終的に、V-ICALはマルチモーダルエージェントのICL能力に重大なギャップを露呈し、将来の研究への緊急の必要性を浮き彫りにしている。

関連論文リスト

• Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization [56.150184676745205]
  ビデオ異常理解(VAU)は、スパースでコンテキストに依存した手がかりに依存している。 本稿では,映像理解をアクティブな逐次意思決定プロセスとして再認識するクローズドループフレームワークである$Anomtext-$を提案する。 人間のビデオレビュー行動に触発されたこのフレームワークは、内部の認知的推論と戦略的エビデンスを、インターリーブされたポリシーに統一する。
  論文  参考訳（メタデータ） (2026-07-01T08:41:49Z)
• How Far Are Video Models from True Multimodal Reasoning? [32.10821745418955]
  CLVG-Benchは、ビデオモデルのゼロショット推論能力を調査するために設計された評価フレームワークである。 高品質で手動で注釈付けされたメタデータが6つのカテゴリと47のサブカテゴリにまたがっている。 最小限のアノテーションを用いて人間の専門家の認識と一致した適応的ビデオ評価器(AVE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:04:02Z)
• What do vision-language models see in the context? Investigating multimodal in-context learning [2.1119217917006234]
  インコンテキスト学習(ICL)により、大規模言語モデルでは、パラメータ更新なしで実演例からタスクを学習することができる。 視覚言語モデル(VLM)におけるICLの体系的研究について述べる。 我々は、設計、アーキテクチャの選択、トレーニング戦略がマルチモーダルICLにどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2025-10-28T11:55:24Z)
• ContextVLA: Vision-Language-Action Model with Amortized Multi-Frame Context [54.58057019521198]
  時間的コンテキストを活用することは、部分的に観察可能なロボットタスクの成功に不可欠である。 動作のクローン化に関する以前の研究は、複数フレームの観測で不整合のパフォーマンス向上を示した。 マルチフレーム観測を効果的に活用することにより、ロボットタスクのパフォーマンスを堅牢に向上するポリシーモデルであるContextVLAを紹介する。
  論文  参考訳（メタデータ） (2025-10-05T15:29:57Z)
• Unified Vision-Language-Action Model [86.68814779303429]
  我々は、視覚、言語、行動信号を離散トークンシーケンスとして自動回帰モデル化する、統一的でネイティブなマルチモーダルVLAモデルUniVLAを提案する。 提案手法は, CALVIN, LIBERO, Simplenv-Bridge など, 広く使用されているシミュレーションベンチマークにまたがって, 最新の結果を設定する。 さらに、現実世界のALOHA操作と自律運転に適用可能であることを実証する。
  論文  参考訳（メタデータ） (2025-06-24T17:59:57Z)
• VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments [25.534332634912005]
  マルチエージェント環境における戦略的能力のための視覚言語モデルを評価するベンチマークであるVisual Strategic Bench (VS-Bench)を紹介する。 VLMエージェントの性能は、要素認識精度で測定された知覚、次のアクション予測精度で測定された戦略的推論、正規化エピソードリターンで測定された意思決定の3つの次元にわたって評価される。
  論文  参考訳（メタデータ） (2025-06-03T02:57:38Z)
• Dynamic-I2V: Exploring Image-to-Video Generation Models via Multimodal LLM [34.23005193437701]
  拡散トランスフォーマー(DiT)アーキテクチャの視覚的条件とテキスト的条件を協調的に符号化するために,MLLM(Multimodal Large Language Models)を統合する革新的なフレームワークであるDynamic-I2Vを提案する。 画像とビデオの生成において、Dynamic-I2Vは最先端のパフォーマンスを実現しており、特に42.5%、7.9%、11.8%のダイナミックレンジ、制御性、品質が大幅に向上している。
  論文  参考訳（メタデータ） (2025-05-26T12:29:34Z)
• V-MAGE: A Game Evaluation Framework for Assessing Vision-Centric Capabilities in Multimodal Large Language Models [84.27290155010533]
  本稿では,視覚中心型多機能ゲーム評価(V-MAGE)について紹介する。 V-MAGEは、30以上の慎重に構築された評価シナリオからなる5つの異なるビデオゲームを特徴としている。 V-MAGEは、動的かつインタラクティブな設定において、MLLMの視覚的および推論能力を改善するために実行可能な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-08T15:43:01Z)
• Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos [76.21297023629589]
  そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。 提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-28T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。