論文の概要: Gumbel Reranking: Differentiable End-to-End Reranker Optimization

• arxiv url: http://arxiv.org/abs/2502.11116v1
• Date: Sun, 16 Feb 2025 13:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:55.826236
• Title: Gumbel Reranking: Differentiable End-to-End Reranker Optimization
• Title（参考訳）: Gumbel氏: 微分可能なエンド・ツー・エンド・リランカ最適化
• Authors: Siyuan Huang, Zhiyuan Ma, Jintao Du, Changhua Meng, Weiqiang Wang, Jingwen Leng, Minyi Guo, Zhouhan Lin,
• Abstract要約: RAGシステムは関連する文書を識別するためにリランカーに依存している。 注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。 我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
• 参考スコア（独自算出の注目度）: 61.16471123356738
• License:
• Abstract: RAG systems rely on rerankers to identify relevant documents. However, fine-tuning these models remains challenging due to the scarcity of annotated query-document pairs. Existing distillation-based approaches suffer from training-inference misalignment and fail to capture interdependencies among candidate documents. To overcome these limitations, we reframe the reranking process as an attention-mask problem and propose Gumbel Reranking, an end-to-end training framework for rerankers aimed at minimizing the training-inference gap. In our approach, reranker optimization is reformulated as learning a stochastic, document-wise Top-$k$ attention mask using the Gumbel Trick and Relaxed Top-$k$ Sampling. This formulation enables end-to-end optimization by minimizing the overall language loss. Experiments across various settings consistently demonstrate performance gains, including a 10.4\% improvement in recall on HotpotQA for distinguishing indirectly relevant documents.
• Abstract（参考訳）: RAGシステムは関連する文書を識別するためにリランカーに依存している。 しかし、注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。 既存の蒸留法に基づくアプローチは、トレーニング推論ミスアライメントに悩まされ、候補文書間の相互依存を捕捉できない。 これらの制限を克服するために、リランクプロセスを注目マスク問題として再編成し、トレーニングと推論のギャップを最小限に抑えることを目的とした、リランカのためのエンドツーエンドトレーニングフレームワークであるGumbel Re rankを提案する。 提案手法では,Gumbel Trick と Relaxed Top-k$ Sampling を用いて,確率的,文書的,Top-k$アテンションマスクの学習として再帰最適化を行う。 この定式化により、言語全体の損失を最小限に抑えることで、エンドツーエンドの最適化が可能になる。 様々な設定における実験は、間接的に関連のある文書を識別するためのHotpotQAにおけるリコールの10.4\%の改善など、パフォーマンスの向上を一貫して示している。

関連論文リスト

• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• A Minimal Subset Approach for Efficient and Scalable Loop Closure [7.066382982173528]
  大規模および長期のミッションにおけるループ検出は、計算的に要求される。 キーフレームサンプリングは、バックエンドシステムに格納され、処理されるフレームの数を減らし、これを緩和する。 本稿では,ポーズグラフ最適化とループ閉鎖検出の併用問題に対する最適化サンプリングのギャップを解消する。
  論文  参考訳（メタデータ） (2025-01-03T12:48:01Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Quam: Adaptive Retrieval through Query Affinity Modelling [15.3583908068962]
  ユーザ情報要求に基づいて文書をランク付けする関連モデルを構築することは,情報検索とNLPコミュニティの中心的な課題である。 提案するQuamにより,適応検索の初期段階の統一的な視点を提案する。 提案手法であるQuamは,リコール性能を26%向上させる。
  論文  参考訳（メタデータ） (2024-10-26T22:52:12Z)
• RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
  アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。 公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
  論文  参考訳（メタデータ） (2024-05-23T11:00:19Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• Pattern-aware Data Augmentation for Query Rewriting in Voice Assistant Systems [10.332550622090718]
  既存のトレーニングペアからパターンを学習し、ラベルの書き換えから書き換え候補を逆に生成し、不十分なQRトレーニングデータを補う拡張フレームワークを提案する。 実験の結果,QRベースラインを十分に訓練し,低リソース領域やローカライズ領域でのQR性能向上に有効である可能性が示された。
  論文  参考訳（メタデータ） (2020-12-21T16:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。