論文の概要: MMOOC: A Comprehensive Benchmark for Out-of-Context Evaluation in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2607.27637v1
• Date: Thu, 30 Jul 2026 03:46:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.387276
• Title: MMOOC: A Comprehensive Benchmark for Out-of-Context Evaluation in Multimodal Large Language Models
• Title（参考訳）: MMOOC:マルチモーダル大言語モデルにおける文脈外評価のための総合ベンチマーク
• Authors: Wenjie Zhu, Yabin Zhang, Wenjun Zeng, Lei Zhang,
• Abstract要約: 信頼できるMLLMは、主観レベルのコンテキストシフトを伴う真にアウト・オブ・コンテクスト(OOC)質問を拒否すべきである。 既存のベンチマークは主にOOCや視覚的に答えられない質問をターゲットにしている。 MLLMの拒絶と頑健な応答能力を評価するための大規模ベンチマークであるMMOOCを提案する。
• 参考スコア（独自算出の注目度）: 20.709465270147387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved strong performance on a wide range of vision-language tasks, but often fail under imperfect or shifted contexts. A reliable MLLM should refuse truly out-of-context (OOC) questions with subject-level context shifts while still answering shifted in-context (Shifted IC) questions with non-subject context shifts. Existing benchmarks mainly target OOC or visually unanswerable questions, but overlook answerable Shifted IC cases and cover limited OOC shifts. To fill this gap, we present MMOOC, a large-scale benchmark for evaluating refusal and robust answering abilities of MLLMs. MMOOC contains over 41K image-question pairs, including answerable Shifted IC cases and unanswerable OOC cases, spanning three question formats, eight shift types and six visual scenarios, with data quality ensured through MLLM-based filtering and human verification. We evaluate model responses using Accuracy and Refusal Rate, and further introduce an LLM-as-a-Judge metric to assess the correctness of model reasoning. Experiments on diverse MLLMs show that current models still struggle to balance answer-ability and refusal under shifted contexts. We further analyze key failure patterns and show that post-training can improve robustness. MMOOC will be made publicly available.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、広範囲の視覚言語タスクにおいて高いパフォーマンスを達成しているが、しばしば不完全な状況や変化した状況下で失敗する。 信頼性の高いMLLMは、主観レベルのコンテキストシフトを伴う真にアウト・オブ・コンテクスト(OOC)質問を拒否すると同時に、非オブジェクトのコンテキストシフトを伴うシフトしたイン・コンテクスト(シフトされたIC)質問に答えるべきである。 既存のベンチマークは主にOOCや視覚的には答えられない質問を対象としているが、回答可能なICのケースを見落とし、OOCシフトの制限をカバーしている。 このギャップを埋めるために,MLLMの拒絶と頑健な応答能力を評価するための大規模ベンチマークであるMMOOCを提案する。 MMOOCには41K以上の画像検索ペアが含まれており、回答可能なシフトICケースと解決できないOCOケースが3つの質問形式、8つのシフトタイプ、6つの視覚シナリオにまたがっており、MLLMベースのフィルタリングと人間の検証によってデータ品質が保証されている。 我々は,精度と拒絶率を用いてモデル応答を評価し,モデル推論の正確性を評価するためのLCM-as-a-Judge 尺度を導入する。 多様なMLLMの実験では、現在のモデルは、変化したコンテキスト下での回答可能性と拒否のバランスを取るのに依然として苦労している。 さらに、重要な障害パターンを分析し、ポストトレーニングが堅牢性を向上させることを示す。 MMOOCは一般公開される予定だ。

関連論文リスト

• Large Multimodal Models as General In-Context Classifiers [73.11242790834383]
  本稿では,この回答がLMMの重要な能力,すなわちコンテキスト内学習を見落としていることを論じる。 我々は、クローズドワールド分類のための多様なデータセットに関する最先端のLMMをベンチマークし、そのゼロショット性能はCLIPよりも低いが、いくつかのインコンテキスト例を持つLMMは、キャッシュベースのアダプタと対照的なVLMをマッチまたは超える可能性があることを発見した。 この分析をオープンワールド設定に拡張し,LMMの生成特性をタスクに適したものにする。
  論文  参考訳（メタデータ） (2026-02-26T17:08:18Z)
• Q-Doc: Benchmarking Document Image Quality Assessment Capabilities in Multi-modal Large Language Models [19.598563198222035]
  本稿では,MLLMの粗度,中度,微粒度レベルでのDIQA能力を体系的に探索するQ-Docを提案する。 MLLMはDIQA能力を有するが,不整合スコア,歪み誤同定,重度誤判断などの限界がみられた。 我々の研究は、MLLMにおけるDIQA能力のベンチマークを提供し、その品質知覚における明らかな欠陥と、拡張のための有望な経路を明らかにする。
  論文  参考訳（メタデータ） (2025-11-14T15:41:17Z)
• Reasoning Multimodal Large Language Model: Data Contamination and Dynamic Evaluation [9.434966074326056]
  MLLM(Multimodal Large Language Models)は、視覚ベースのベンチマーク性能を示すが、真の一般化を隠蔽するデータ汚染リスクへの懸念が増大している。 静的ベンチマークを超えてMLLMの一般化を厳格に評価する新しい動的評価フレームワークを提案する。 シミュレーションテストデータ(極端汚染)の微調整はタスク固有の性能を大幅に向上させるが、全体的な一般化には悪影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2025-06-08T15:52:38Z)
• Benchmarking Gaslighting Negation Attacks Against Multimodal Large Language Models [45.63440666848143]
  MLLM(Multimodal Large Language Models)は、様々なモダリティの統合において顕著な進歩を見せている。 彼らの成功にもかかわらず、MLLMは会話の敵対的な入力に弱いままである。 我々は,最初に正しい回答を提供するモデルが,ユーザが提供する否定によってそのアウトプットを逆転するように説得される現象であるガスライティング否定攻撃について検討する。
  論文  参考訳（メタデータ） (2025-01-31T10:37:48Z)
• MM-SpuBench: Towards Better Understanding of Spurious Biases in Multimodal LLMs [38.93090238335506]
  非意味な入力属性と予測対象変数の急激な相関を利用する傾向にあるスパースバイアスは、単一のモダリティデータに基づいて訓練されたディープラーニングモデルに深刻な落とし穴があることを明らかにした。 本稿では,9つの異なる相関関係のカテゴリに対するMLLMの信頼度を評価するために,包括的視覚質問応答(VQA)ベンチマークであるMM-SpuBenchを紹介する。 以上の結果から,これらのモデルからの素因相関への依存の持続性を明らかにし,素因バイアスを緩和する新たな手法の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-06-24T20:29:16Z)
• Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [77.72128397088409]
  本研究は,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。 また,モデルが積極的に複合推論を行うように促す新しい強化学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-04-19T15:53:27Z)
• LLMs May Perform MCQA by Selecting the Least Incorrect Option [29.202758753639078]
  大規模言語モデル(LLM)は、様々なタスクにわたるパフォーマンスを著しく向上させた。 LLMを評価するためのベンチマークとして、MCQA(Multiple Choice Question Answering)が採用され、大きな注目を集めている。 しかし、この評価手法の堅牢性に関する懸念は続いている。
  論文  参考訳（メタデータ） (2024-02-02T12:07:00Z)
• Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
  本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。 具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。 本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
  論文  参考訳（メタデータ） (2023-10-10T10:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。