論文の概要: MMCL-Bench: Multimodal Context Learning from Visual Rules, Procedures, and Evidence

• arxiv url: http://arxiv.org/abs/2605.12703v1
• Date: Tue, 12 May 2026 19:57:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.658349
• Title: MMCL-Bench: Multimodal Context Learning from Visual Rules, Procedures, and Evidence
• Title（参考訳）: MMCL-Bench:ビジュアルルール、手順、エビデンスから学ぶマルチモーダルコンテキスト
• Abstract要約: MMCL-Bench(MMCL-Bench)は、視覚的・混合モダリティ教育の文脈からタスクローカルルール、手順、経験的パターンを学ぶためのベンチマークである。 この設定では、学習コンテキストを推論する前に、画像、スクリーンショット、マニュアル、ビデオ、フレームシーケンスから関連するエビデンスを復元し、ローカライズする必要がある。 厳密なスコアリングによるフロンティアマルチモーダルモデルを評価した結果、現在のシステムは堅牢なマルチモーダルコンテキスト学習には程遠いことが判明した。
• 参考スコア（独自算出の注目度）: 66.12781312894647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MMCL-Bench, a benchmark for multimodal context learning: learning task-local rules, procedures, and empirical patterns from visual or mixed-modality teaching context and applying them to new visual instances. Unlike text-only context learning or standard multimodal question answering, this setting requires models to recover and localize relevant evidence from images, screenshots, manuals, videos, and frame sequences before they can reason over the learned context. MMCL-Bench contains 102 tasks spanning three categories: rule system application, procedural task execution, and empirical discovery and induction. We evaluate frontier multimodal models with strict rubric-based scoring and find that current systems remain far from robust multimodal context learning, with even the strongest model solving fewer than one-third of tasks under strict evaluation. Diagnostic ablations and error analysis show that failures arise throughout the context-to-answer pipeline, including context anchoring, visual evidence extraction, context reasoning, and response construction. MMCL-Bench thus highlights multimodal context learning as an important unsolved capability bottleneck for current multimodal models.
• Abstract（参考訳）: マルチモーダルなコンテキスト学習のためのベンチマークであるMMCL-Benchを紹介した。タスクローカルなルール,手順,視覚的あるいは混合モダリティの学習コンテキストから経験的パターンを学習し,それらを新しい視覚的インスタンスに適用する。 テキストのみのコンテキスト学習や標準的なマルチモーダル質問応答とは異なり、この設定では、学習コンテキストを推論する前に、画像、スクリーンショット、マニュアル、ビデオ、フレームシーケンスから関連する証拠を復元し、ローカライズする必要がある。 MMCL-Benchには、ルールシステムの適用、手続きタスクの実行、経験的発見と帰納の3つのカテゴリにまたがる102のタスクが含まれている。 厳密なルーリックに基づくスコアリングによるフロンティアマルチモーダルモデルを評価したところ、現在のシステムは頑健なマルチモーダル文脈学習には程遠いままであり、最強のモデルでさえ厳密な評価の下でタスクの3分の1以下を解くことができる。 診断の短縮とエラー分析は、コンテキストアンカー、視覚的エビデンス抽出、コンテキスト推論、応答構築など、コンテキスト-問合せパイプライン全体に障害が発生することを示している。 MMCL-Benchは、現在のマルチモーダルモデルにとって重要な未解決機能ボトルネックとして、マルチモーダルコンテキスト学習を強調している。

関連論文リスト

• CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition [12.300125680559338]
  マルチモーダルコンテキスト学習のためのベンチマークであるCLBench-Vを紹介する。 CLBench-Vはコンテキストグラウンド、新しい情報アプリケーション、新しい知識学習という3つの次元のタスクを編成する。 3,443のインスタンスと6つの最近のマルチモーダルモデルで、最高スコアは0.2847である。
  論文  参考訳（メタデータ） (2026-07-28T05:06:43Z)
• Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
  In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。 我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。 帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
  論文  参考訳（メタデータ） (2026-05-04T09:18:19Z)
• LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations [53.20772659095155]
  本稿では、トレーニング時不完全観察において、より困難なIMLの設定に取り組む。 本稿では,この課題を条件付きシーケンス推論タスクとして再構成したLIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T06:11:42Z)
• Why Multimodal In-Context Learning Lags Behind? Unveiling the Inner Mechanisms and Bottlenecks [7.62772056485722]
  In-context Learning (ICL)は、モデルが推論時デモを通じて新しいタスクに適応できるようにする。 大規模な言語モデルでの成功にもかかわらず、ICLのマルチモーダル設定への拡張はいまだに理解されていない。 マルチモーダル ICL はゼロショット設定ではテキストのみの ICL と相容れない性能を示すが,数発のデモでは著しく劣化する。
  論文  参考訳（メタデータ） (2026-04-15T02:12:51Z)
• What do vision-language models see in the context? Investigating multimodal in-context learning [2.1119217917006234]
  インコンテキスト学習(ICL)により、大規模言語モデルでは、パラメータ更新なしで実演例からタスクを学習することができる。 視覚言語モデル(VLM)におけるICLの体系的研究について述べる。 我々は、設計、アーキテクチャの選択、トレーニング戦略がマルチモーダルICLにどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2025-10-28T11:55:24Z)
• ContextNav: Towards Agentic Multimodal In-Context Learning [85.05420047017513]
  ContextNavは、自動検索のスケーラビリティと人間のようなキュレーションの品質と適応性を統合するエージェントフレームワークである。 リソースを意識したマルチモーダル埋め込みパイプラインを構築し、検索可能なベクトルデータベースを維持し、エージェント検索と構造アライメントを適用して、ノイズ耐性のあるコンテキストを構築する。 実験の結果、ContextNavはさまざまなデータセットで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-06T07:49:52Z)
• True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
  MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。 現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。 視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
  論文  参考訳（メタデータ） (2025-07-21T17:08:18Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。