論文の概要: GroupRank: A Groupwise Reranking Paradigm Driven by Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2511.11653v1
- Date: Mon, 10 Nov 2025 15:25:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:22.800429
- Title: GroupRank: A Groupwise Reranking Paradigm Driven by Reinforcement Learning
- Title（参考訳）: GroupRank: 強化学習によるグループレベルのパラダイム
- Authors: Duolin Sun, Meixiu Long, Dan Yang, Yihan Jiao, Zhehao Tan, Jie Feng, Junjie Wang, Yue Shen, Peng Wei, Jian Wang, Jinjie Gu,
- Abstract要約: Groupwiseは、大規模な言語モデルのための新しいパラダイムである。
高品質な検索とランキングデータのための革新的なパイプラインを提案する。
得られたデータは、リランカのトレーニングだけでなく、レトリバーのトレーニングにも利用することができる。
- 参考スコア（独自算出の注目度）: 26.616849067985967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models have shown strong potential as rerankers to enhance the overall performance of RAG systems. However, existing reranking paradigms are constrained by a core theoretical and practical dilemma: Pointwise methods, while simple and highly flexible, evaluate documents independently, making them prone to the Ranking Myopia Trap, overlooking the relative importance between documents. In contrast, Listwise methods can perceive the global ranking context, but suffer from inherent List Rigidity, leading to severe scalability and flexibility issues when handling large candidate sets. To address these challenges, we propose Groupwise, a novel reranking paradigm. In this approach, the query and a group of candidate documents are jointly fed into the model, which performs within-group comparisons to assign individual relevance scores to each document. This design retains the flexibility of Pointwise methods while enabling the comparative capability of Listwise methods. We further adopt GRPO for model training, equipped with a heterogeneous reward function that integrates ranking metrics with a distributional reward aimed at aligning score distributions across groups. To overcome the bottleneck caused by the scarcity of high quality labeled data, we further propose an innovative pipeline for synthesizing high quality retrieval and ranking data. The resulting data can be leveraged not only for training the reranker but also for training the retriever. Extensive experiments validate the effectiveness of our approach. On two reasoning intensive retrieval benchmarks, BRIGHT and R2MED.
- Abstract（参考訳）: 大規模言語モデルでは、RAGシステム全体の性能を向上させるリランカーとして大きな可能性を示している。
ポイントワイドな手法は、単純で柔軟であるが、文書を独立して評価し、文書間の相対的な重要性を見越して、ランク付けされたミオピア・トラップに傾向がある。
これとは対照的に、Listwiseメソッドはグローバルなランキングのコンテキストを知覚できるが、List Rigidity固有の問題に悩まされ、大きな候補集合を扱う際のスケーラビリティと柔軟性に深刻な問題を引き起こす。
これらの課題に対処するため,新たなパラダイムであるGroupwiseを提案する。
提案手法では,クエリと候補文書群を共同でモデルに入力し,グループ内比較を行い,各文書に個々の関連スコアを割り当てる。
この設計では、Listwiseメソッドの比較機能を有効にしながら、Pointwiseメソッドの柔軟性を維持している。
我々はさらにGRPOをモデルトレーニングに適用し、グループ間のスコア分布の整合化を目的とした分布報酬とランキング指標を統合した異種報酬関数を備える。
さらに,高品質なラベル付きデータの不足によるボトルネックを克服するために,高品質な検索データとランキングデータを合成する革新的なパイプラインを提案する。
得られたデータは、リランカのトレーニングだけでなく、レトリバーのトレーニングにも利用することができる。
大規模な実験により、我々のアプローチの有効性が検証された。
BRIGHTとR2MEDの2つの検索ベンチマークについて。
関連論文リスト
- Repurposing Synthetic Data for Fine-grained Search Agent Supervision [81.95597592711688]
LLMベースの検索エージェントは、エンティティ中心の合成データに基づいてますます訓練されている。
一般的なトレーニングメソッドは、このリッチなエンティティ情報を破棄し、代わりにスパースで結果に基づく報酬に依存します。
E-GRPO(Entity-Aware Group Relative Policy Optimization)は、高密度なエンティティ認識報酬関数を定式化する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-10-28T17:50:40Z) - ERank: Fusing Supervised Fine-Tuning and Reinforcement Learning for Effective and Efficient Text Reranking [33.25740773392183]
ERankは、多種多様な関連シナリオにまたがるLLMから構築された、非常に効率的で効率的なポイントワイド・リランカである。
スーパーバイザードファインチューニング(SFT)から始まる新しい2段階トレーニングパイプラインを提案する。
この段階では、二進ラベルを超えてモデルを生成的に訓練し、微粒な整数スコアを出力し、妥当性の識別を大幅に向上させる。
BRIGHT, FollowIR, TREC DL, BEIRベンチマークにおけるERankリランカの評価を行い, 既存手法と比較して優れた有効性と堅牢性を示した。
論文 参考訳（メタデータ） (2025-08-30T14:56:53Z) - DACL-RAG: Data Augmentation Strategy with Curriculum Learning for Retrieval-Augmented Generation [54.26665681604041]
DACL-RAGは多段階データ拡張戦略と多段階学習パラダイムを組み合わせた多段階RAGトレーニングフレームワークである。
我々のフレームワークは、4つのオープンドメインQAデータセットで一貫した有効性を示し、複数の高度なメソッドに対して2%から4%のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-05-15T16:53:04Z) - Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。
既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。
本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
論文 参考訳（メタデータ） (2025-04-07T15:27:37Z) - Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining [0.0]
本研究は,クロスエンコーダモデルのトレーニングプロセスにおいて,ハードネガティブが果たす重要な役割を説明することに焦点を当てる。
我々は,企業データセット上でのクロスエンコーダ・リランクモデルの効率的なトレーニングのための強硬な負のマイニング手法を開発した。
論文 参考訳（メタデータ） (2024-10-18T05:23:39Z) - LIRE: listwise reward enhancement for preference alignment [27.50204023448716]
本稿では、複数の応答のオフライン報酬を合理化されたリストワイズフレームワークに組み込む、勾配に基づく報酬最適化手法を提案する。
LIREは実装が簡単で、最小限のパラメータチューニングを必要とし、ペアワイズパラダイムとシームレスに整合する。
実験の結果,LIREは対話タスクや要約タスクのベンチマークにおいて,既存のメソッドよりも一貫して優れていることがわかった。
論文 参考訳（メタデータ） (2024-05-22T10:21:50Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳（メタデータ） (2023-05-20T07:02:27Z) - Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。
いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-05-09T20:37:16Z) - Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。
本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。
このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2022-08-26T12:34:55Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。