論文の概要: HeadRank: Decoding-Free Passage Reranking via Preference-Aligned Attention Heads

• arxiv url: http://arxiv.org/abs/2604.17237v1
• Date: Sun, 19 Apr 2026 03:43:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.408686
• Title: HeadRank: Decoding-Free Passage Reranking via Preference-Aligned Attention Heads
• Title（参考訳）: HeadRank:decoding-free Passage Re rank by Preference-aligned Attention Heads (英語)
• Authors: Juyuan Wang, Chenxing Wang, Yuchen Fang, Huiyun Hu, Junwu Du, Aolin Li, Haijun Wu, Jin Xu, Ligang Liu, Dongliang Liao,
• Abstract要約: HeadRankは、離散トークン空間から連続的な注意領域への好みの最適化を促進するフレームワークである。 4Bでは、関連する中間ゾーン文書の57.4%が4位、関係のない文書は14.2%に達した。
• 参考スコア（独自算出の注目度）: 13.667803158231182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding-free reranking methods that read relevance signals directly from LLM attention weights offer significant latency advantages over autoregressive approaches, yet suffer from attention score homogenization: middle-context documents receive near-identical scores, destroying the fine-grained distinctions required for ranking. We propose HeadRank, a framework that lifts preference optimization from discrete token space into the continuous attention domain through entropy-regularized head selection, hard adjacent-level preference pairs, and a distribution regularizer that jointly sharpen discriminability in the homogenized middle zone. Depth truncation at the deepest selected layer further reduces inference to $\mathcal{O}(1)$ forward passes. Across 14 benchmarks on three Qwen3 scales (0.6B--4B) using only 211 training queries, HeadRank consistently outperforms generative and decoding-free baselines with 100\% formatting success. At 4B, 57.4\% of relevant middle-zone documents reach the top quartile versus 14.2\% for irrelevant ones -- a 43-percentage-point selectivity gap that demonstrates the effectiveness of attention-space preference alignment for listwise reranking.
• Abstract（参考訳）: LLMの注意重みから直接関連信号を読み取る復号化手法は、自己回帰的アプローチよりも大幅に遅延の利点があるが、注意スコアの均質化に悩まされている。 本稿では, 離散トークン空間から連続注目領域への選好最適化を, エントロピー規則化ヘッド選択, ハード隣接レベルの選好ペア, 均質化ミドルゾーンにおける識別性を両立させる分布正規化器によるフレームワークであるHeadRankを提案する。 最も深く選択された層における深さのトランケーションは、推論を$\mathcal{O}(1)$ forwardパスに減少させる。 Qwen3スケール(0.6B--4B)の14のベンチマークでは、211のトレーニングクエリしか使用せず、HeadRankは100\%のフォーマットで生成およびデコードなしのベースラインを一貫して上回っている。 4Bでは、関連する中間ゾーン文書の57.4\%が、関係のない文書の14.2\%に対して4位に達した。

関連論文リスト

• BOSCH: Black-Box Binary Optimization for Short-Context Attention-Head Selection in LLMs [28.15811258654351]
  大規模言語モデル(LLM)の学習後のハイブリッド化は、KVキャッシュの使用を減らし、レイテンシを向上させるために、二次的な自己注意をスライドウインドウアテンション(SWA)に置き換えることが多い。 既存のハイブリダイゼーションスキームは通常、レイヤレベル(例えばインターリービング)またはヘッドレベルでローカルからグローバルまでの静的ランキングによって定義される。 BOSCH, Black-box Binary Optimization for Short-context Head Selection, a training-free method that formulas the problem as a Large Neighborhood Search and Decomposes it into three subproblems。
  論文  参考訳（メタデータ） (2026-04-07T14:38:05Z)
• Deep EM with Hierarchical Latent Label Modelling for Multi-Site Prostate Lesion Segmentation [12.493998903996589]
  本稿では,隠れマスク上でのボクセル方向の後方分布の推測と,この後方をソフトターゲットとするCNNの訓練を交互に行う階層的予測最大化(HierEM)フレームワークを提案する。 3つのコホートの実験は、提案された階層的EMフレームワークがクロスサイト一般化を促進することを示した。
  論文  参考訳（メタデータ） (2026-03-15T15:03:20Z)
• Multimodal Consistency-Guided Reference-Free Data Selection for ASR Accent Adaptation [0.05219568203653524]
  ASRアクセント適応のためのマルチモーダル整合性誘導型参照フリーデータ選択パイプラインを提案する。 パイプラインは、共有埋め込み空間における音声テキストアライメントと予測された単語エラー率の2つの基準自由信号を用いて、各仮説をスコアする。 単純なパーセンタイルベースの選択規則は、ノイズ発声を排除しながら微調整のための信頼できる擬似ラベルを保持する。
  論文  参考訳（メタデータ） (2026-02-03T21:35:58Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Ranking Free RAG: Replacing Re-ranking with Selection in RAG for Sensitive Domains [13.58151841630302]
  本稿では,RAGにおける再ランク付けを合理的な選択手法で置き換える新しい方法であるMETEORAを提案する。 METEORAは、最先端の再評価手法よりも約50%少ないチャンクを使用しながら、生成精度を33.34%向上させる。 敵対的な設定では、METEORAはF1スコアを0.10から0.44に大幅に改善する。
  論文  参考訳（メタデータ） (2025-05-21T20:57:16Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。