論文の概要: Query-focused and Memory-aware Reranker for Long Context Processing

• arxiv url: http://arxiv.org/abs/2602.12192v1
• Date: Thu, 12 Feb 2026 17:23:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.956725
• Title: Query-focused and Memory-aware Reranker for Long Context Processing
• Title（参考訳）: 長いコンテキスト処理のためのクエリ中心およびメモリ対応リランカ
• Authors: Yuqing Li, Jiangnan Li, Mo Yu, Guoxuan Ding, Zheng Lin, Weiping Wang, Jie Zhou,
• Abstract要約: 提案手法は,選択した頭部の注意スコアを用いて,パスクエリの妥当性を推定するモデルを訓練するフレームワークである。 私たちのフレームワークは軽量で効果的で、強力なパフォーマンスを達成するために小さなモデルしか必要としません。
• 参考スコア（独自算出の注目度）: 47.33446560026716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Built upon the existing analysis of retrieval heads in large language models, we propose an alternative reranking framework that trains models to estimate passage-query relevance using the attention scores of selected heads. This approach provides a listwise solution that leverages holistic information within the entire candidate shortlist during ranking. At the same time, it naturally produces continuous relevance scores, enabling training on arbitrary retrieval datasets without requiring Likert-scale supervision. Our framework is lightweight and effective, requiring only small-scale models (e.g., 4B parameters) to achieve strong performance. Extensive experiments demonstrate that our method outperforms existing state-of-the-art pointwise and listwise rerankers across multiple domains, including Wikipedia and long narrative datasets. It further establishes a new state-of-the-art on the LoCoMo benchmark that assesses the capabilities of dialogue understanding and memory usage. We further demonstrate that our framework supports flexible extensions. For example, augmenting candidate passages with contextual information further improves ranking accuracy, while training attention heads from middle layers enhances efficiency without sacrificing performance.
• Abstract（参考訳）: 提案手法は,大規模言語モデルにおける検索ヘッドの既存の解析に基づいて,選択した頭部のアテンションスコアを用いて,パスクエリの関連性を推定するためにモデルを訓練する代替フレームワークを提案する。 このアプローチは、ランク付け中に候補のショートリスト全体の全体的情報を活用する、リストワイズなソリューションを提供する。 同時に、自然に関連性スコアを生成し、Likertスケールの監視を必要とせずに任意の検索データセットのトレーニングを可能にする。 我々のフレームワークは軽量で効果的であり、強力な性能を得るためには小規模なモデル(例:4Bパラメータ)しか必要としない。 大規模な実験により,本手法はウィキペディアや長文データセットなど,複数の領域にまたがる既存のポイントワイド・リストワイド・リランカよりも優れていることが示された。 さらに、対話理解とメモリ使用量を評価するLoCoMoベンチマークに、新たな最先端技術が確立されている。 さらに、私たちのフレームワークはフレキシブルな拡張をサポートしています。 例えば、候補経路を文脈情報で拡張することで、ランキング精度をさらに向上する一方、中層からの注意をトレーニングすることで、性能を犠牲にすることなく効率を高めることができる。

関連論文リスト

• Generating Query-Relevant Document Summaries via Reinforcement Learning [5.651096645934245]
  ReLSumは、検索関連性に最適化された製品記述のクエリ関連要約を生成するために設計された強化学習フレームワークである。 このフレームワークは、トレーニング可能な大言語モデル(LLM)を使用して要約を生成し、その後、クロスエンコーダランキングモデルの入力として使用される。 実験の結果、オンラインユーザエンゲージメント指標と同様に、リコールやNDCGを含むオフラインメトリクスの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-08-11T18:52:28Z)
• Attention Basin: Why Contextual Position Matters in Large Language Models [16.11590856103274]
  モデルでは,シーケンスの開始と終了の項目に対して,中間の項目を無視しながら,より高い注意を体系的に割り当てることが示される。 AttnRank(AttnRank)は、モデル固有の位置的注目度を推定するフレームワークである。 AttnRankは、最小の計算オーバーヘッドを持つモデルに依存しない、トレーニングなし、プラグアンドプレイ方式である。
  論文  参考訳（メタデータ） (2025-08-07T08:08:08Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• SEAL: Scaling to Emphasize Attention for Long-Context Retrieval [8.805524738976075]
  我々は、長期文脈検索(SEAL)における注意を強調するためのスケーリングと呼ばれる新しいアプローチを導入する。 我々は、特定の注意ヘッドが長文検索と密接に結びついていることを観察し、検索スコアと正あるいは負の相関を示す。 本稿では、これらのヘッドを強調するために生成されたデータを活用する学習ベースのメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:09:39Z)
• Movie2Story: A framework for understanding videos and telling stories in the form of novel text [0.0]
  補助情報に富んだシナリオにおけるテキスト生成能力を評価するための新しいベンチマークを提案する。 本研究は,高精度な補助情報の提供を確実にするための,革新的な自動データセット生成手法を提案する。 本実験により, 提案した評価指標に基づいて, 現在のMLLM(Multi-modal Large Language Models)が準最適に動作していることが判明した。
  論文  参考訳（メタデータ） (2024-12-19T15:44:04Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Spatio-temporal Relation Modeling for Few-shot Action Recognition [100.3999454780478]
  本稿では,高次時間表現を同時に学習しながら,クラス固有の特徴の識別性を向上する数ショットアクション認識フレームワークSTRMを提案する。 本手法は,本研究でもっとも優れた手法に比べて,分類精度が3.5%向上した。
  論文  参考訳（メタデータ） (2021-12-09T18:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。