論文の概要: Where Relevance Emerges: A Layer-Wise Study of Internal Attention for Zero-Shot Re-Ranking

• arxiv url: http://arxiv.org/abs/2602.22591v1
• Date: Thu, 26 Feb 2026 03:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.515564
• Title: Where Relevance Emerges: A Layer-Wise Study of Internal Attention for Zero-Shot Re-Ranking
• Title（参考訳）: 関連性が出現する場所:ゼロショットリランキングにおける内部注意のレイヤーワイズ研究
• Authors: Haodong Chen, Shengyao Zhuang, Zheng Yao, Guido Zuccon, Teerapong Leelanupab,
• Abstract要約: In-Context Re- rank (ICR) は、最近$O(1)$代替メソッドとして提案されている。 ICRは内部の注意信号を直接抽出し、テキスト生成のオーバーヘッドを回避する。 統一的な研究は、内部の注意を従来の生成的および可能性に基づくメカニズムと比較していない。
• 参考スコア（独自算出の注目度）: 40.652380579951206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot document re-ranking with Large Language Models (LLMs) has evolved from Pointwise methods to Listwise and Setwise approaches that optimize computational efficiency. Despite their success, these methods predominantly rely on generative scoring or output logits, which face bottlenecks in inference latency and result consistency. In-Context Re-ranking (ICR) has recently been proposed as an $O(1)$ alternative method. ICR extracts internal attention signals directly, avoiding the overhead of text generation. However, existing ICR methods simply aggregate signals across all layers; layer-wise contributions and their consistency across architectures have been left unexplored. Furthermore, no unified study has compared internal attention with traditional generative and likelihood-based mechanisms across diverse ranking frameworks under consistent conditions. In this paper, we conduct an orthogonal evaluation of generation, likelihood, and internal attention mechanisms across multiple ranking frameworks. We further identify a universal "bell-curve" distribution of relevance signals across transformer layers, which motivates the proposed Selective-ICR strategy that reduces inference latency by 30%-50% without compromising effectiveness. Finally, evaluation on the reasoning-intensive BRIGHT benchmark shows that precisely capturing high-quality in-context attention signals fundamentally reduces the need for model scaling and reinforcement learning: a zero-shot 8B model matches the performance of 14B reinforcement-learned re-rankers, while even a 0.6B model outperforms state-of-the-art generation-based approaches. These findings redefine the efficiency-effectiveness frontier for LLM-based re-ranking and highlight the latent potential of internal signals for complex reasoning ranking tasks. Our code and results are publicly available at https://github.com/ielab/Selective-ICR.
• Abstract（参考訳）: LLM(Large Language Models)でランク付けされたゼロショット文書は、計算効率を最適化するPointwiseメソッドからListwiseおよびSetwiseアプローチへと進化してきた。 彼らの成功にもかかわらず、これらの手法は主に、推論レイテンシと結果整合性のボトルネックに直面している生成的スコアリングまたは出力ロジットに依存している。 In-Context Re- rank (ICR) は、最近$O(1)$代替メソッドとして提案されている。 ICRは内部の注意信号を直接抽出し、テキスト生成のオーバーヘッドを回避する。 しかし、既存のICRメソッドは単にすべての層にシグナルを集約するだけであり、レイヤワイドなコントリビューションとアーキテクチャ間の一貫性は未調査のままである。 さらに、一貫した条件下での様々なランキングフレームワークにおける従来の生成的および可能性に基づくメカニズムと比較した統一的な研究は行われていない。 本稿では,複数のランキングフレームワークにまたがる生成,可能性,内部の注意機構の直交的評価を行う。 さらに,提案したSelective-ICR戦略を,効率を損なうことなく,推論遅延を30%から50%削減する。 ゼロショット8Bモデルは14Bの強化学習型リランカの性能と一致し、0.6Bのモデルは最先端の世代ベースアプローチよりも優れている。 これらの知見は, LLM に基づく再ランク付けにおける効率効率性フロンティアを再定義し, 複雑な推論作業における内部信号の潜在可能性を強調した。 私たちのコードと結果はhttps://github.com/ielab/Selective-ICR.comで公開されています。

関連論文リスト

• Search-P1: Path-Centric Reward Shaping for Stable and Efficient Agentic RAG Training [11.136092421166097]
  Agentic RAGは、外部知識を取り入れることで、大きな言語モデルを強化する。 現在のRLベースのトレーニング手法は、中間信号を捨てるスパース結果報酬に悩まされている。 本稿では,エージェントRAGトレーニングにパス中心の報酬形成を導入するフレームワークであるSearch-P1を提案する。
  論文  参考訳（メタデータ） (2026-02-26T03:31:00Z)
• From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning [7.6602542594279335]
  本稿では,報酬形成を絶対得点から相対ランクへシフトさせるために,相対報酬を用いた強化学習を提案する。 RLRRは、推論ベンチマークやオープン・エンド・ジェネレーションタスクにおいて、標準グループベースベースラインよりも一貫した性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-30T15:07:06Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Towards Robust Zero-Shot Reinforcement Learning [22.262048244005296]
  ゼロショット強化学習(英語版) (RL) の最近の発展は、ゼロショット方式で任意の新しいタスクに適応できる事前訓練されたジェネリストポリシーを学習するための新たな道を開いた。 一般的なフォワード・バックワード表現(FB)および関連する手法はゼロショットRLにおいて有望であることを示しているが、それらのモデリングには表現性が欠如しており、外挿誤差が準最適性能を引き起こしていることを実証的に見出した。 本稿では、学習安定性、ポリシー抽出能力、表現学習品質を同時に向上するFBベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-17T07:33:19Z)
• Resource-Aware Neural Network Pruning Using Graph-based Reinforcement Learning [0.8890833546984916]
  本稿では,グラフベースの観測空間をAutoMLフレームワークに統合することで,ニューラルネットワークのプルーニングに新たなアプローチを提案する。 本フレームワークは,対象ニューラルネットワークのグラフ表現を導入することにより,刈り込み処理を変換する。 作用空間に対しては、連続プルーニング比から細粒な二分作用空間へ遷移する。
  論文  参考訳（メタデータ） (2025-09-04T15:05:05Z)
• Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
  生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。 既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。 本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
  論文  参考訳（メタデータ） (2025-04-07T15:27:37Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
  本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。 本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。 外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
  論文  参考訳（メタデータ） (2020-06-15T11:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。