論文の概要: ReAttn: Improving Attention-based Re-ranking via Attention Re-weighting

• arxiv url: http://arxiv.org/abs/2602.19969v1
• Date: Mon, 23 Feb 2026 15:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.883284
• Title: ReAttn: Improving Attention-based Re-ranking via Attention Re-weighting
• Title（参考訳）: ReAttn: 注意に基づくリグレードの改善
• Authors: Yuxing Tian, Fengran Mo, Weixu Zhang, Yiyan Qi, Jian-Yun Nie,
• Abstract要約: 我々は,アテンションベースのリグレード手法のポストホック再重み付け戦略であるtextbfReAttn を提案する。 クロスドキュメントIDFの重み付けを計算し、クエリ重なり合うトークンの重み付けを減らします。 その後、エントロピーに基づく正規化を採用し、過度に集中した注意を和らげる。
• 参考スコア（独自算出の注目度）: 28.461000696344986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The strong capabilities of recent Large Language Models (LLMs) have made them highly effective for zero-shot re-ranking task. Attention-based re-ranking methods, which derive relevance scores directly from attention weights, offer an efficient and interpretable alternative to generation-based re-ranking methods. However, they still face two major limitations. First, attention signals are highly concentrated a small subset of tokens within a few documents, making others indistinguishable. Second, attention often overemphasizes phrases lexically similar to the query, yielding biased rankings that irrelevant documents with mere lexical resemblance are regarded as relevant. In this paper, we propose \textbf{ReAttn}, a post-hoc re-weighting strategy for attention-based re-ranking methods. It first compute the cross-document IDF weighting to down-weight attention on query-overlapping tokens that frequently appear across the candidate documents, reducing lexical bias and emphasizing distinctive terms. It then employs entropy-based regularization to mitigate over-concentrated attention, encouraging a more balanced distribution across informative tokens. Both adjustments operate directly on existing attention weights without additional training or supervision. Extensive experiments demonstrate the effectiveness of our method.
• Abstract（参考訳）: 最近のLarge Language Models(LLM)の強みは、ゼロショットの再ランク付けタスクに非常に効果的である。 アテンションベースのリグレード法は、アテンションウェイトから直接レバレンススコアを導出し、ジェネレーションベースのリグレード法に代わる効率的かつ解釈可能な代替手段を提供する。 しかし、それらは2つの大きな制限に直面している。 まず、注意信号はいくつかの文書内でトークンの小さなサブセットに高度に集中しており、他のものは区別できない。 第二に、注意はクエリと語彙的に類似したフレーズを過度に強調し、単に語彙的に類似した無関係な文書が関連していると見なされる偏りのあるランク付けをもたらす。 本稿では,アテンションベースのリグレード手法のためのポストホック再重み付け戦略である \textbf{ReAttn} を提案する。 まず、クロスドキュメントIDFの重み付けを計算し、候補文書に頻繁に現れるクエリオーバーラップトークンの重み付けを減らし、語彙バイアスを減らし、独特な用語を強調する。 その後、エントロピーベースの正規化を使用して、過度に集中した注意を和らげ、情報的トークン間のバランスのとれた分布を奨励する。 両方の調整は、追加の訓練や監督なしに、既存の注意重みを直接操作する。 大規模な実験により,本手法の有効性が示された。

関連論文リスト

• Enhancing guidance for missing data in diffusion-based sequential recommendation [10.673207423895747]
  我々は,新しい非現実的注意規制拡散モデル(CARD)を提案する。 CARDは、ユーザシーケンス内のノイズを同時に識別し、抑制しながら、キーの興味を向けるポイントアイテムからの信号を増幅することに焦点を当てている。 本手法は,計算コストを伴わずに実世界のデータに有効である。
  論文  参考訳（メタデータ） (2026-01-22T05:55:21Z)
• Attention Needs to Focus: A Unified Perspective on Attention Allocation [37.34801068995858]
  Transformer アーキテクチャは現代のLarge Language Models (LLM) の基盤である 標準的な注意機構は、表現的崩壊と注意シンクという、文書化された問題に悩まされている。 どちらも共通のルート(不適切な注意割り当て)にトレース可能である、と論じて、統一された視点を提示します。
  論文  参考訳（メタデータ） (2026-01-01T08:39:15Z)
• DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
  テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。 DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。 SLIMはセマンティックリークに特化した最初のデータセットである。
  論文  参考訳（メタデータ） (2025-10-16T17:39:21Z)
• Gumbel Reranking: Differentiable End-to-End Reranker Optimization [61.16471123356738]
  RAGシステムは関連する文書を識別するためにリランカーに依存している。 注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。 我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
  論文  参考訳（メタデータ） (2025-02-16T13:23:39Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• Scaling Stick-Breaking Attention: An Efficient Implementation and In-depth Study [38.492552119793]
  大規模環境下での突破プロセスに基づく別の注意機構について検討する。 従来のソフトマックス方式のアテンション機構をスティック破りのアテンションに置き換えることの意味について検討した。 現在のSoftmax+RoPEアテンションシステムのドロップイン代替として使用すると、スティック破りのアテンションが現在の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2024-10-23T15:51:13Z)
• Attention Sorting Combats Recency Bias In Long Context Language Models [69.06809365227504]
  現在の言語モデルは、世代間の長いコンテキストを効率的に組み込むことができないことが多い。 この問題に対する主要なコントリビュータは,事前トレーニング中に学んだと思われる注意点である。 我々は、この事実を活用して注意ソートを導入する:1ステップのデコードを実行し、それらが受け取った注意によって文書をソートし、プロセスを繰り返し、新しくソートされたコンテキストで回答を生成する。
  論文  参考訳（メタデータ） (2023-09-28T05:19:06Z)
• Perturbation-based Self-supervised Attention for Attention Bias in Text Classification [31.144857032681905]
  本稿では,摂動に基づく自己監督型アテンションアプローチを提案し,注意学習の指導を行う。 文中のすべての単語に、その意味や予測を変えることなく、可能な限り多くのノイズを加えます。 3つのテキスト分類タスクの実験結果から,本手法は現在の注目モデルの性能を大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-05-25T03:18:18Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。