論文の概要: Differences That Matter: Auditing Models for Capability Gap Discovery and Rectification

• arxiv url: http://arxiv.org/abs/2512.16921v1
• Date: Thu, 18 Dec 2025 18:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:32.259972
• Title: Differences That Matter: Auditing Models for Capability Gap Discovery and Rectification
• Title（参考訳）: 重要な違い: 機能ギャップの発見と再現のための監査モデル
• Authors: Qihao Liu, Chengzhi Mao, Yaojie Liu, Alan Yuille, Wen-Sheng Chu,
• Abstract要約: AuditDMはMLLMの障害モードを積極的に検出し、修正する自動化フレームワークである。 以上の結果から,データスケーリングがリターンを減少させるにつれて,対象モデル監査がモデル診断と改善に有効な道筋となることが示唆された。
• 参考スコア（独自算出の注目度）: 30.86763472476859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional evaluation methods for multimodal LLMs (MLLMs) lack interpretability and are often insufficient to fully disclose significant capability gaps across models. To address this, we introduce AuditDM, an automated framework that actively discovers and rectifies MLLM failure modes by auditing their divergence. AuditDM fine-tunes an MLLM as an auditor via reinforcement learning to generate challenging questions and counterfactual images that maximize disagreement among target models. Once trained, the auditor uncovers diverse, interpretable exemplars that reveal model weaknesses and serve as annotation-free data for rectification. When applied to SoTA models like Gemma-3 and PaliGemma-2, AuditDM discovers more than 20 distinct failure types. Fine-tuning on these discoveries consistently improves all models across 16 benchmarks, and enables a 3B model to surpass its 28B counterpart. Our results suggest that as data scaling hits diminishing returns, targeted model auditing offers an effective path to model diagnosis and improvement.
• Abstract（参考訳）: MLLM (Multimodal LLMs) の従来の評価手法は解釈可能性に欠けており、しばしばモデル間の重要な能力ギャップを十分に明らかにするには不十分である。 そこで本稿では,MLLMの障害モードを積極的に検出・修正する自動フレームワークであるAuditDMを紹介する。 AuditDMは、強化学習を介して監査人としてMLLMを微調整し、ターゲットモデル間の不一致を最大化する挑戦的な質問や反実画像を生成する。 トレーニングが完了すると、監査官は、モデルの弱点を明らかにし、修正のためのアノテーションのないデータとして機能する、多様で解釈可能な見本を見つけ出す。 Gemma-3やPaliGemma-2のようなSoTAモデルに適用すると、AuditDMは20以上の異なる障害タイプを発見する。 これらの発見を微調整することで、16のベンチマークですべてのモデルを継続的に改善し、3Bモデルは28Bモデルを上回ることができる。 以上の結果から,データスケーリングがリターンを減少させるにつれて,対象モデル監査がモデル診断と改善に有効な道筋となることが示唆された。

関連論文リスト

• When One Modality Sabotages the Others: A Diagnostic Lens on Multimodal Reasoning [22.39245479538899]
  本報告では,高信頼な一元誤差が他の証拠をオーバーライドし,融合結果を誤認する診断障害モードであるモダリティ・サボタージュを導入する。 モデル非依存評価層は、各モダリティをエージェントとして扱い、候補ラベルと監査に用いる簡単な自己評価を生成する。 単純な融合機構はこれらの出力を集約し、コントリビュータ(正しい結果を支持するモダリティ)とサボツール(誤解を招くモダリティ)を露呈する。
  論文  参考訳（メタデータ） (2025-11-04T18:20:13Z)
• A Perplexity and Menger Curvature-Based Approach for Similarity Evaluation of Large Language Models [0.6906005491572401]
  LLM(Large Language Models)は、著作権侵害とデータおよびモデル使用における非倫理的慣行に関する懸念を提起している。 本稿では,メンガー曲率のパープレキシティ曲線と差を利用したLLM類似度の定量化手法を提案する。
  論文  参考訳（メタデータ） (2025-04-05T16:04:25Z)
• FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models [79.41859481668618]
  大規模言語モデル(LLM)はファクトチェック研究を大幅に進歩させた。 既存のファクトチェック評価手法は静的データセットと分類基準に依存している。 本稿では, LLMのファクトチェック機能を適応的かつ動的に評価するエージェント駆動型フレームワークであるFACT-AUDITを紹介する。
  論文  参考訳（メタデータ） (2025-02-25T07:44:22Z)
• Towards Automated Fact-Checking of Real-World Claims: Exploring Task Formulation and Assessment with LLMs [32.45604456988931]
  本研究では,Large Language Models(LLMs)を用いたAFC(Automated Fact-Checking)のベースライン比較を確立する。 また,2007-2024年にPoitiFactから収集された17,856件のクレームに対して,制限されたWeb検索によって得られた証拠を用いてLlama-3モデルの評価を行った。 以上の結果から, LLMは微調整をせずに, 分類精度, 正当化品質において, より小型のLLMより一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-13T02:51:17Z)
• Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework [79.40678802098026]
  数学の単語問題は、大規模言語モデルの推論能力を評価するための重要なベンチマークとなる。 現在のエラー分類法は静的および事前定義されたカテゴリに依存している。 本稿では,共通なエラーパターンを明示的なガイダンスとして組み込んだEAP(Error-Aware Prompting)を提案する。
  論文  参考訳（メタデータ） (2025-01-26T16:17:57Z)
• Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
  ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。 これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。