Fugu-MT 論文翻訳(概要): Attention Calibration for Position-Fair Dense Information Retrieval

論文の概要: Attention Calibration for Position-Fair Dense Information Retrieval

arxiv url: http://arxiv.org/abs/2606.02737v1
Date: Mon, 01 Jun 2026 18:04:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-03 22:00:04.522782
Title: Attention Calibration for Position-Fair Dense Information Retrieval
Title（参考訳）: 位置感覚情報検索のための注意校正
Authors: Andrianos Michail, Elias Schuhmacher, Juri Opitz, Simon Clematide, Rico Sennrich,
Abstract要約: デンス検索モデルは、後続の通路に関連情報が現れると位置バイアスを示す。我々は、このバイアスが再トレーニングや全体的な検索効率を犠牲にすることなく、推論時に低減できるかどうかを問う。推定時間アテンションのキャリブレーションを下流の検索に適用し、元のアテンション分布と完全にキャリブレーションされたアテンション分布を補間する強度係数で拡張する。
参考スコア（独自算出の注目度）: 29.915108607793996
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Dense retrieval models exhibit positional bias: retrieval effectiveness degrades when relevant information appears later in a passage (Zeng et al., 2025). We ask whether this bias can be reduced at inference time, without retraining and without sacrificing overall retrieval effectiveness. To this end, we adapt inference-time attention calibration (Schuhmacher et al., 2026) to downstream retrieval and extend it with a strength coefficient lambda that interpolates between the original and fully calibrated attention distributions. Across three embedding models on SQuAD-PosQ and FineWeb-PosQ, we examine how basket size, calibrated layer set, and strength affect the trade-off between positional fairness and retrieval effectiveness, finding that partial calibration frequently outperforms full calibration. A single configuration (B=128, lambda=0.5, 50% layer depth) improves the harmonic mean of nDCG@10 across positional groups on FineWeb-PosQ for all three models without per-model tuning, and applies to both <s>-pooled and last-token-pooled architectures. This default configuration transfers without modification to PosIR, which spans 10 languages and 31 domains, reducing the Position Sensitivity Index in all 16 length-quartile x model x retrieval-setting combinations, while preserving or improving aggregate nDCG@10. We release our extended codebase at https://github.com/impresso/fair-sentence-transformers
Abstract（参考訳）: 深度検索モデルは位置バイアスを示し、検索の有効性は、後続の通路に関連情報が現れると劣化する(Zeng et al , 2025)。我々は、このバイアスが再トレーニングや全体的な検索効率を犠牲にすることなく、推論時に低減できるかどうかを問う。この目的のために、推定時注意度校正(Schuhmacher et al , 2026)を下流の探索に適用し、原点と完全校正された注意度分布を補間する強度係数ラムダで拡張する。 SQuAD-PosQ と FineWeb-PosQ の3つの埋め込みモデルにおいて,バスケットサイズ,キャリブレーション層セット,強度が位置フェアネスと検索効率のトレードオフにどのように影響するかを検討した。 A single configuration (B=128, lambda=0.5, 50% layer depth) is improve the harmonic mean of nDCG@10 across positional groups on FineWeb-PosQ for all three models without-model tuning, and apply token-pooled architectures。このデフォルト設定は、10の言語と31のドメインにまたがるPosIRに変更することなく転送される。拡張コードベースはhttps://github.com/impresso/fair-sentence-transformersでリリースしています。

関連論文リスト

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。 1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。 HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
論文参考訳（メタデータ） (2026-05-28T12:24:15Z)
Federated Martingale Posterior Samping [28.76805404959501]
フェデレートされたベイズニューラルネットワークは、モデルパラメータの事前を、可能性とともに修正する必要がある。予測モデルの急速な進歩により、マーチンゲール後部は予測ベイズ(英: predictive Bayes)とも呼ばれ、予測分布に置き換えられる。このレターでは、フェデレーションマーチンゲール後部サンプリング(FMP)を提案する。これは、クライアントがトレーニング可能なデータの小さなセットをアップロードし、サーバが予測サンプルを集中的に実行する、ワンショットの恥ずかしい並列プロトコルである。
論文参考訳（メタデータ） (2026-05-18T15:33:18Z)
LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss [8.481133435038839]
大規模な推論モデルは、長い自己回帰復号によって競合レベルの数学と符号化精度に達する。ウェイト量子化はアクセラレーションの標準ツールであるが、長復号推論ベンチマークでは、代表的なレシピが正確さを失う。そこで我々はLookAhead Quantization (LAQuant) を提案する。
論文参考訳（メタデータ） (2026-05-09T07:35:38Z)
Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文参考訳（メタデータ） (2026-04-11T10:47:22Z)
Bayesian Learning-Enhanced Navigation with Deep Smoothing for Inertial-Aided Navigation [8.510813384980262]
BLENDSはデータ駆動のポストプロセッシングフレームワークで、トランスフォーマーベースのニューラルネットワークによって従来の2フィルタスムーズな拡張を行う。 BLENDSは、ベースライン前方EKFよりも最大63%の水平位置改善を実現している。
論文参考訳（メタデータ） (2026-03-26T12:11:59Z)
Correctness-Optimized Residual Activation Lens (CORAL): Transferrable and Calibration-Aware Inference-Time Steering [3.7758197704962835]
重み付きデカイプローブを用いて、モデル内部のアクティベーションから正当性信号を捕捉する正規化時間ステアリング法であるCORALを導入する。コラルは、常に精度を10%改善し、期待キャリブレーション誤差(ECE)を平均50%改善する。本結果は,個々のニューロンが不十分な場合,正規化プローブを用いてモデル内部の分散情報を抽出できるという仮説を支持する。
論文参考訳（メタデータ） (2026-02-05T18:55:56Z)
Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文参考訳（メタデータ） (2022-07-13T14:13:49Z)
Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文参考訳（メタデータ） (2020-06-08T07:24:33Z)
Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-03-15T12:57:21Z)
Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。