論文の概要: Logit-Attention Divergence: Mitigating Position Bias in Multi-Image Retrieval via Attention-Guided Calibration

• arxiv url: http://arxiv.org/abs/2605.11591v1
• Date: Tue, 12 May 2026 06:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.623537
• Title: Logit-Attention Divergence: Mitigating Position Bias in Multi-Image Retrieval via Attention-Guided Calibration
• Title（参考訳）: Logit-Attention Divergence:Attention-Guided Calibrationによる複数画像検索における位置バイアスの緩和
• Authors: Mingtao Xian, Yifeng Yang, Qinying Gu, Xinbing Wang, Nanyang Ye,
• Abstract要約: マルチモーダル言語モデル (MLLM) は, マルチモーダル・クロスモーダル検索において高い性能を示した。 しかし、予測は意味的関連性よりも入力順序に支配される厳しい位置バイアスに悩まされる。 そこで本研究では,本質的な注意信号を利用した学習自由な注意誘導型脱バイアスフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 36.91587844807066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have shown strong performance in multi-image cross-modal retrieval, yet suffer from severe position bias, where predictions are dominated by input order rather than semantic relevance. Through empirical analysis, we identify a phenomenon termed Logit-Attention Divergence, in which output logits are heavily biased while internal attention maps remain well-aligned with relevant visual evidence. This observation reveals a fundamental limitation of existing logit-level calibration methods such as PriDe. Based on this insight, we propose a training-free, attention-guided debiasing framework that leverages intrinsic attention signals for instance-level correction at inference time, requiring only a minimal calibration set with negligible computational overhead. Experiments on MS-COCO-based benchmarks show that our method substantially improves permutation invariance and achieves state-of-the-art performance, enhancing accuracy by over 40\% compared to baselines. Code is available at https://github.com/brightXian/LAD.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は,複数画像のクロスモーダル検索において高い性能を示すが,意味的関連性よりも入力順序に支配される位置バイアスに悩まされている。 実験分析により,ロジット・アテンション・ディバージェンス(Logit-Attention Divergence)と呼ばれる現象を同定した。 この観察は、PriDeのような既存のロジトレベルのキャリブレーション手法の基本的な制限を明らかにしている。 この知見に基づき,本研究では,非無視の計算オーバーヘッドを伴う最小限のキャリブレーションセットを必要とせず,推論時間におけるインスタンスレベルの補正に固有の注意信号を活用する,学習不要で注意誘導型脱バイアスフレームワークを提案する。 MS-COCOをベースとしたベンチマーク実験により,提案手法は置換不変性を大幅に改善し,最先端性能を実現し,ベースラインに比べて40%以上精度が向上することが示された。 コードはhttps://github.com/brightXian/LAD.comで入手できる。

関連論文リスト

• DevPrompt: Deviation-Based Prompt Learning for One-Normal ShotImage Anomaly Detection [0.0]
  FNSAD (Few-normal shot anomaly detection) は、画像内の異常領域を検出することを目的としている。 最近のアプローチでは、CLIPのような視覚言語モデルとプロンプトベースの学習を利用して、画像とテキストの特徴を整合させる。 本稿では,視覚言語モデルのセマンティックパワーと,偏差に基づくスコアリングの統計的信頼性を統合した偏差誘導型即時学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-21T20:35:51Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Average Calibration Losses for Reliable Uncertainty in Medical Image Segmentation [14.869379716339212]
  医用画像セグメンテーションのためのディープニューラルネットワークは、しばしば過信され、信頼性と臨床的有用性の両方を損なう。 画像毎に計算可能な補助的損失として,L1平均誤差(mL1-ACE)の微分可能な定式化を提案する。 ソフトボンドの変種は、Diceとクロスエントロピー損失ベースラインよりもキャリブレーションの最大の改善をもたらすが、しばしばセグメンテーション性能を損なう。
  論文  参考訳（メタデータ） (2025-06-04T13:32:07Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• Position: From Correlation to Causation: Max-Pooling-Based Multi-Instance Learning Leads to More Robust Whole Slide Image Classification [51.95824566163554]
  我々は、十分に訓練された最大プーリングに基づくMILモデルが因果関係に基づく予測を行い、素早い相関に頼らずにすむことを論じる。 提案手法は,2つのデータセットにおいて,既存の注目度に基づく手法よりも優れている。
  論文  参考訳（メタデータ） (2024-08-18T12:15:22Z)
• Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
  本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。 既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。 本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-09T13:26:21Z)
• The Devil is in the Margin: Margin-based Label Smoothing for Network Calibration [21.63888208442176]
  ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。 現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
  論文  参考訳（メタデータ） (2021-11-30T14:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。