論文の概要: MAGIC: Margin-gated Contrastive Debiasing with Evidence Restoration for VLM Test-time Robustness Scaling
- arxiv url: http://arxiv.org/abs/2610.32013v1
- Date: Fri, 23 Oct 2026 00:24:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.31368
- Title: MAGIC: Margin-gated Contrastive Debiasing with Evidence Restoration for VLM Test-time Robustness Scaling
- Title(参考訳): MRIC: VLMテスト時間ロバストネススケーリングのためのマージンゲートコントラストデバイアスとエビデンス復元
- Abstract要約: 本稿では,大規模視覚言語モデル(LVLM)におけるテスト時間スケーリングの問題について検討する。
既存のアプローチでは、典型的には、推論性能を改善するために対照的なデコードのようなテスト時のスケーリング技術を採用しています。
我々は,Margin-gated Contrastive Debiasing with Evidence Restoration (MAGIC) という新しいアプローチを提案する。
- 参考スコア(独自算出の注目度): 17.144692984862225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the problem of test-time robustness scaling for large vision-language models (LVLMs), which aims to mitigate language bias during inference. Existing approaches typically adopt test-time scaling techniques such as contrastive decoding to improve inference performance. Despite the progress, the performance of these approaches is far from satisfactory due to intentional evidence removal during perturbations and redundant inference cost. Towards this end, we propose a novel approach named Margin-gated Contrastive Debiasing with Evidence Restoration (MAGIC). The core of our MAGIC is to evaluate the decision margins of LVLMs to selectively activate textual and visual perturbation branches for efficient debiased inference. In particular, our MAGIC first measures the prediction margins of crucial tokens, and applies a gating function to identify low-confidence responses that are susceptible to language biases. For selected samples, we integrate the token logits from multiple textual and image perturbation branches with the original ones for debiased decision. More importantly, we selectively restore the most informative corrupted views with sharp prediction distributions for ambiguous samples after debiasing, enabling evidence recovery for discriminative decision-making. We further utilize a calibration dataset to actively identify and prune ineffective branches during contrastive debiasing for cost reduction. Extensive experiments on benchmark datasets validate the effectiveness of the proposed MAGIC in comparison with extensive baselines.
- Abstract(参考訳): 本稿では,大規模視覚言語モデル(LVLM)におけるテスト時ロバストネススケーリングの問題について検討する。
既存のアプローチでは、典型的には、推論性能を改善するために対照的なデコードのようなテスト時のスケーリング技術を採用しています。
進展にもかかわらず、摂動中の意図的な証拠除去と冗長な推論コストのため、これらの手法の性能は十分ではない。
そこで我々は,Margin-gated Contrastive Debiasing with Evidence Restoration (MAGIC) という新しいアプローチを提案する。
MRICの核心は,LVLMの判定マージンを評価し,テキストと視覚の摂動枝を選択的に活性化し,効率的なデバイアス推論を行うことである。
特に、MAGICは、まず重要なトークンの予測マージンを測定し、言語バイアスの影響を受けやすい低信頼応答を識別するためにゲーティング関数を適用した。
選択したサンプルに対して,複数のテキストおよび画像の摂動枝からのトークンロジットと元のトークンロジットを統合し,偏りのある決定を行う。
さらに,不明瞭なサンプルに対する鋭い予測分布を用いて,最も情報に富んだ視点を選択的に復元し,識別的意思決定のための証拠回復を可能にする。
さらに、キャリブレーションデータセットを使用して、コスト削減のための対照的なデバイアス中の非効率な枝を積極的に識別し、プーンする。
ベンチマークデータセットの大規模な実験は、提案したMAGICの有効性を広範なベースラインと比較して検証する。
関連論文リスト
- MaPP: A Unified Marginalized Posterior-Predictive Framework for Data-Efficient RLVR [23.25125436885512]
検証可能な報酬を伴う強化学習は、ロールアウトとポリシー更新によってかなりのコストを発生させる。
データ効率のよいRLVRのための統合フレームワークであるMaPP(Marginalized Posterior-Predictive)を提案する。
MaPPは、標準群相対的優位性を、閉形式β-ビノミアル境界化による合成不変な内在的優位性に置き換える。
同じ後部を用いて、MaPPは不確実性を認識したプロンプト選択スコアを導出し、追加のロールアウトコストを伴わずにデータ効率を向上させる。
論文 参考訳(メタデータ) (2026-09-28T12:01:56Z) - Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。
まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。
次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
論文 参考訳(メタデータ) (2026-05-06T13:08:12Z) - Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。
このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。
合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
論文 参考訳(メタデータ) (2026-03-04T06:52:37Z) - CalibraEval: Calibrating Prediction Distribution to Mitigate Selection Bias in LLMs-as-Judges [21.580762639442913]
推論中に選択バイアスを緩和する新しいラベルフリー手法であるCalibraEvalを紹介する。
CalibraEvalは、バイアスのない予測分布に合わせて観測された予測分布を調整するための最適化タスクとしてデバイアスを再構成する。
本稿では,CalibraEvalが選択バイアスを効果的に軽減し,既存のデバイアス法と比較して性能を向上させることを示す。
論文 参考訳(メタデータ) (2024-10-20T13:47:39Z) - Beyond Performance: Quantifying and Mitigating Label Bias in LLMs [8.77694178599322]
モデル予測におけるラベルバイアスを定量化するための様々なアプローチを評価する。
本研究により, 脱バイアス前後のモデルに有意なラベルバイアスが認められた。
数発のプロンプトに適したラベルバイアス校正法を提案する。
論文 参考訳(メタデータ) (2024-05-04T19:53:03Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳(メタデータ) (2024-03-15T02:04:35Z) - Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。
本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳(メタデータ) (2023-02-22T14:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。