論文の概要: Lost in Contrast: Instruction-Preserving Decoding for Reliable Visual Question Answering
- arxiv url: http://arxiv.org/abs/2610.16722v1
- Date: Mon, 12 Oct 2026 12:53:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:43:12.75836
- Title: Lost in Contrast: Instruction-Preserving Decoding for Reliable Visual Question Answering
- Title（参考訳）: コントラストの喪失:信頼性の高い視覚質問応答のための命令保存デコード
- Abstract要約: 候補フィルタリングによる対照的な復号化は、何らかの比較が行われる前に、禁忌トークンを除外することができる。
コントラストの強度を自由に調整しながら、原画像の予測に対する禁制命令の効果をそのまま維持する命令保存復号法を提案する。
- 参考スコア（独自算出の注目度）: 21.439724684375765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual contrastive decoding corrects answers using the prediction difference between the original image and a reference condition, yet the same contrast also turns supported abstentions into incorrect answers. We find that abstentions are lost at two stages: contrastive decoding with candidate filtering can exclude the abstention token before any comparison takes place, and the reference branch's response to the abstention instruction is removed when the reference prediction is subtracted. We therefore propose instruction-preserving decoding, which keeps the effect of the abstention instruction on the original-image prediction intact while leaving the contrast strength freely adjustable. Using a perturbed image and an image-free prediction as references, we obtain IP-VCD and IP-M3ID. On decision utility (DU), which credits both correct answers and supported abstentions, both methods outperform all compared non-IP baselines on every one of nine models on VizWiz, and IP-VCD also leads on eight of nine models on Food-101. Candidate measurements and paired per-question comparisons show that computing the instruction effect and the visual contrast term separately lets contrastive decoding support both correct answers and supported abstentions.
- Abstract（参考訳）: 視覚的コントラスト復号は、元の画像と参照条件の予測差を用いて解を補正するが、同じコントラストはサポート対象の棄却を誤った解に変換する。
提案手法では,任意の比較を行う前に,コントラッシブデコードと候補フィルタリングを併用すれば,アブテンショントークンを排除し,参照予測を下方修正した場合に,参照分岐のアテンション命令に対する応答を除去する。
そこで本研究では,コントラストの強度を自由に調整しながら,元の画像予測に対する抑止命令の効果を持続的に維持する命令保存復号法を提案する。
IP-VCD と IP-M3ID が得られる。
正しい回答と支持された棄権の両方を信用する決定ユーティリティ(DU)では、どちらの手法もVizWizの9つのモデルのうち1つで非IPベースラインを上回り、IP-VCDは9つのモデルのうち8つをFood-101で導く。
候補測定とペア1対比較は、命令効果と視覚的コントラスト項を別々に計算することで、正しい回答と支持された棄権の両方を対照的にデコードできることを示している。
関連論文リスト
- Balancing Emotional Alignment and Semantic Consistency in Image Generation via Reinforcement Learning with Valence-Arousal Anchoring [55.57242007016976]
テキスト・ツー・イメージ生成における継続的な感情制御は、プロンプトによって記述されたオブジェクトやレイアウト、シーンを変更することなく、感情的アライメントを改善するモデルを必要とする。
既存の教師付き感情注入法は、しばしば特徴空間プロキシを最適化し、したがって感情のセマンティックドリフトを示す。
本稿では,連続的原子価覚醒条件設定,グループ相対ポリシー最適化,中立的セマンティックアンカーを組み合わせたフローマッチング画像生成フレームワークを用いてこの問題に対処する。
論文 参考訳（メタデータ） (2026-09-11T13:24:35Z) - Calibrate Before Reason: Robust Visual Token Reduction against Semantic Drift in VLMs [26.936352183867854]
CaReは,1)多方向摂動下で安定なモデル側の影響を持つアンカーを識別する摂動ロバストアンカリング,2)未選択トークンから信頼性の高い校正信号を抽出しアンカーに注入する信頼性ゲートトケンの2つの相互補完モジュールから構成される。
視覚トークンの94.4%をプルーニングする一方で、本手法は元のフルトーケン性能の96.4%を保持し、未使用バニラモデルと比較して最大2.30倍高速なエンドツーエンド推論速度を実現する。
論文 参考訳（メタデータ） (2026-07-30T05:36:29Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Visual Contrastive Self-Distillation [61.298159957622886]
本稿では,視覚的コントラスト自己蒸留法を提案する。
これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
論文 参考訳（メタデータ） (2026-07-23T17:37:37Z) - FIDES: Faithful Inference via Deep Evidence Signals for Retrieval-Memory Conflict in RAG [28.69005193011498]
コントラストデコーディングは、パラメトリックバイアスを抑制するために文脈条件付き出力を増幅する。
単一のグローバルな対照的な重みは、真に矛盾したトークンを不十分に修正しながら、安全なトークンを過払いする。
本研究では,学習不要なデコーダであるFIDESを提案する。
論文 参考訳（メタデータ） (2026-06-04T03:16:17Z) - Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning [3.944710336786154]
VLM(Vision-Language Models)は、命令の追従とオープンエンドの視覚言語推論において強力な性能を示す。
彼らはしばしば、視覚的証拠に弱く根ざした流動的な出力を生成する。
本稿では,世代間における言語的情報性と視覚的忠実性のバランスをとるためのデコードフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-28T16:18:31Z) - CAR: Contrast-Agnostic Deformable Medical Image Registration with Contrast-Invariant Latent Regularization [6.313081057543946]
本稿では,任意のコントラスト画像に一般化可能な,コントラストに依存しない新しい画像登録フレームワークを提案する。
特に、画像の任意のコントラストを1つの画像コントラスト上でシミュレートするランダム畳み込みに基づくコントラスト拡張方式を提案する。
実験により、CARは登録精度に関するベースラインアプローチよりも優れており、画像のコントラストが見えないような一般化能力も優れていることが示された。
論文 参考訳（メタデータ） (2024-08-03T19:46:23Z) - Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。
Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。
ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
論文 参考訳（メタデータ） (2023-06-03T11:50:44Z) - Robust Contrastive Learning against Noisy Views [79.71880076439297]
ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。
提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
論文 参考訳（メタデータ） (2022-01-12T05:24:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。