論文の概要: RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering
- arxiv url: http://arxiv.org/abs/2602.17366v1
- Date: Thu, 19 Feb 2026 13:49:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-20 15:21:29.049423
- Title: RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering
- Title(参考訳): RPDR:長距離質問応答のためのラウンドトリップ予測に基づくデータ拡張フレームワーク
- Authors: Yiming Zhang, Siyue Zhang, Junbo Zhao, Chen Zhao,
- Abstract要約: ロングテールな質問応答は、大きな言語モデルにとって大きな課題である。
検索拡張世代システムは、この制限を緩和する大きな可能性を示してきた。
本稿では,高品質な学習データを選択する新しいデータ拡張フレームワークRPDRを紹介する。
- 参考スコア(独自算出の注目度): 17.510683145248233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-tail question answering presents significant challenges for large language models (LLMs) due to their limited ability to acquire and accurately recall less common knowledge. Retrieval-augmented generation (RAG) systems have shown great promise in mitigating this limitation by integrating external retrieval mechanisms. However, dense retrieval models often face the same difficulties when generalizing to rare or niche knowledge. In this study, we introduce RPDR, a novel data augmentation framework that selects high-quality easy-to-learn training data, to enhance dense retrievers. Our approach is built around three core components: synthetic data generation, data selection with Round-Trip prediction to identify easy-to-learn instances, and retriever training with these instances. We evaluate RPDR on two long-tail retrieval benchmarks, PopQA and EntityQuestion, demonstrating substantial improvements over existing retrievers like BM25 and Contriver, especially on extremely long-tail categories. We identify the strengths and limitations of RPDR through detailed human analysis and propose a dynamic routing mechanism to dynamically route queries to specialized retrieval modules to further improve retrieval performance.
- Abstract(参考訳): ロングテールな質問応答は、あまり一般的でない知識を習得し、正確に思い出す能力に制限があるため、大きな言語モデル(LLM)にとって大きな課題となる。
検索拡張生成システム(RAG)は、外部の検索機構を統合することにより、この制限を緩和する大きな可能性を示している。
しかし、高密度検索モデルは稀な知識やニッチな知識に一般化する際にも同様の困難に直面することが多い。
本研究では,高品質な学習学習データを選択する新しいデータ拡張フレームワークRPDRを紹介する。
このアプローチは、合成データ生成、学習が容易なインスタンスを識別するためのラウンドトリップ予測によるデータ選択、これらのインスタンスによるレトリバートレーニングの3つのコアコンポーネントを中心に構築されています。
RPDRをPopQAとEntityQuestionの2つのロングテール検索ベンチマークで評価し、BM25やContriverのような既存のリトリーバーよりも大幅に改善した。
本研究では,RPDRの強度と限界を詳細な人文分析により同定し,動的ルーティング機構を提案し,検索性能を向上させるために,クエリを特定の検索モジュールに動的にルーティングする。
関連論文リスト
- ARK: Answer-Centric Retriever Tuning via KG-augmented Curriculum Learning [17.026973494557303]
本稿では,アンサーアライメントのためのレトリバーを最適化するファインチューニングフレームワークを提案する。
まず,その正解の正解率を評価することによって,高品質な正のチャンクを同定する。
次に、カリキュラムベースのコントラスト学習スキームを用いて、レトリバーを微調整する。
論文 参考訳(メタデータ) (2025-11-20T13:05:09Z) - MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。
MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
論文 参考訳(メタデータ) (2025-10-31T15:51:39Z) - Optimizing Retrieval for RAG via Reinforced Contrastive Learning [10.119882685486427]
Retrieval-augmented Generation(RAG)は、人間のユーザのための情報の検索から、AIシステムのコンテキスト知識の検索へと移行している。
本稿では,RAGに最適化された検索用フレームワークであるR3を提案する。
R3はRAG性能を元のレトリバーより5.2%向上し、最先端レトリバーを4.9%上回っている。
論文 参考訳(メタデータ) (2025-10-28T17:18:30Z) - Chunks as Arms: Multi-Armed Bandit-Guided Sampling for Long-Context LLM Preference Optimization [56.97588709890706]
LongMab-POは、長文モデリングタスクのための高品質で多様な応答を生成する新しいフレームワークである。
実験の結果,LongMab-POは嗜好データペアの多様性と品質を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2025-08-19T16:33:55Z) - LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。
パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。
SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2025-06-16T17:53:18Z) - Reinforced Informativeness Optimization for Long-Form Retrieval-Augmented Generation [77.10390725623125]
LFQA(Long-form Question answering)は、大規模言語モデルに固有の課題を提示する。
RioRAGは、強化情報性最適化を通じて長めのRAGを進化させる新しい強化学習フレームワークである。
論文 参考訳(メタデータ) (2025-05-27T07:34:41Z) - Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。
本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
論文 参考訳(メタデータ) (2025-03-19T04:30:20Z) - Dynamic Data Pruning for Automatic Speech Recognition [58.95758272440217]
ASR(DDP-ASR)のダイナミック・データ・プルーニング(Dynamic Data Pruning for ASR)を導入し,音声関連データセットに特化して微細なプルーニングの粒度を提供する。
実験の結果,DDP-ASRは最大1.6倍のトレーニング時間を節約できることがわかった。
論文 参考訳(メタデータ) (2024-06-26T14:17:36Z) - RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳(メタデータ) (2024-03-31T08:58:54Z) - Learning to Retrieve Passages without Supervision [58.31911597824848]
オープンドメイン質問応答(ODQA)のためのダンスレトリバーは,問合せペアの大規模データセットをトレーニングすることで,優れた性能を発揮することが示されている。
そこで本研究では,自己教師型で高密度検索が学べるかどうかを考察し,アノテーションを使わずに効果的に適用する。
論文 参考訳(メタデータ) (2021-12-14T19:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。