論文の概要: Retrieving from Your Own Mistakes: On-Policy Training of Embedding Models for Multi-Hop Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2610.40409v1
• Date: Thu, 29 Oct 2026 16:40:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.1149
• Title: Retrieving from Your Own Mistakes: On-Policy Training of Embedding Models for Multi-Hop Retrieval-Augmented Generation
• Title（参考訳）: 自己のミスから回復する:マルチホップ検索型生成のための埋め込みモデルのオン・ポリティクストレーニング
• Abstract要約: 連鎖埋め込みレトリバーは、段階的にエビデンスを収集し、これまで検索されたパスとともに質問を再エンコードする。 言語モデルを呼び出さない小さなチェーン埋め込みレトリバーは、グラフベースのシステムより優れ、検索エージェントと競合する。 そこで我々は,エンコーダが到達した州を訓練する,政治上の国家訓練を提案する。
• 参考スコア（独自算出の注目度）: 16.001005481140016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Complex questions in retrieval-augmented generation require evidence spread over several documents, and an answer is reliable only when the retriever finds all of it. Chain embedding retrievers collect such evidence step by step, re-encoding the question together with the passages retrieved so far, and we find that they are already strong: trained only on gold histories, a small chain embedding retriever that calls no language model outperforms graph-based systems and is competitive with a search agent. This training, however, leaves a gap. At test time the retriever conditions on its own retrievals, which soon contain mistakes: by the third step, about half or more of the states it visits hold a wrong passage, and these passages lower its chance of retrieving a missing gold passage well beyond what the difficulty of the states explains. We propose on-policy state training, which trains the encoder on the states it reaches itself. At every epoch the current encoder retrieves chains for the training questions; each state it visits, including those built on its own mistakes, is labeled with the earliest gold passage still missing while the other missing gold passages are masked, so that no correct continuation is penalized; and the encoder is updated contrastively on these states mixed with teacher-forced ones, so that its training distribution follows it as it learns. The resulting retriever retrieves complete evidence more often than teacher-forced training and the systems we compare, and it transfers without further training to harder long-chain variants of HotpotQA and 2WikiMultiHopQA that we construct. On the same states, it recovers from its own mistakes far more often, and controlled comparisons attribute the gain to training on the states the encoder currently reaches.
• Abstract（参考訳）: 検索強化世代における複雑な質問は、複数の文書にまたがる証拠を必要とし、その答えは、検索者がそれらすべてを見つけたときにのみ信頼できる。 連鎖埋め込みレトリバーは,これらの証拠を段階的に収集し,これまでに検索されたパスとともに再エンコードし,それらがすでに強力であることが判明した。 しかし、この訓練はギャップを残している。 3番目のステップでは、訪問する州の約半数が間違った通路を持っているため、これらの通路は不足している金の通路を回収する機会を減らします。 そこで我々は,エンコーダが到達した州を訓練する,政治上の国家訓練を提案する。 現行のエンコーダはトレーニング質問のチェーンを検索するが、訪れた各状態は、自分自身のミスで作られたものを含め、最初期の金の通路がまだ失われている状態とラベル付けされ、他の欠落したゴールドの通路は隠蔽されているため、正確な継続は罰せられず、エンコーダは教師が強制したものと混同されたこれらの状態に対して対照的に更新されるので、その訓練分布は学習するにつれてそれに従う。 得られた検索者は、教師による訓練や比較するシステムよりも、完全な証拠を回収し、HotpotQAと2WikiMultiHopQAのより厳密な長鎖変種に変換する。 同じ州では、自己の誤りから回復する頻度がはるかに高く、制御された比較は、現在エンコーダが到達している州でのトレーニングによる利益である。

関連論文リスト

• Retrieval is Cheap, Show Me the Code: Executable Multi-Hop Reasoning for Retrieval-Augmented Generation [26.17880287280065]
  pyragは、プログラムの合成と実行としてマルチホップRAGを再構成するフレームワークである。 pyragはトレーニング不要設定とRLトレーニング設定の両方で、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-13T04:14:13Z)
• ReSCORE: Label-free Iterative Retriever Training for Multi-hop Question Answering with Relevance-Consistency Supervision [23.80886911344813]
  マルチホップ質問の回答には、複雑な質問に答えるために複数のドキュメントをまたがる推論が含まれる。 センスレトリバーは通常、セマンティック埋め込みを利用してBM25のようなスパースメソッドより優れている。 ReSCOREはラベル付き文書を使わずにMHQAの高密度検索を訓練するための新しい手法である。
  論文  参考訳（メタデータ） (2025-05-27T14:28:24Z)
• RLCoder: Reinforcement Learning for Repository-Level Code Completion [39.38066628941757]
  Repositoryレベルのコード補完は、指定されたリポジトリのコンテキスト内で未完成のコードスニペットのためのコードを生成することを目的としている。 既存のアプローチは主に、入力シーケンス長の制限による検索強化された生成戦略に依存している。 ラベル付きデータを必要とせずに、検索者がコード補完に有用なコンテンツを取得することができる新しい強化学習フレームワークであるRLCoderを提案する。
  論文  参考訳（メタデータ） (2024-07-28T12:47:20Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Hindsight: Posterior-guided training of retrievers for improved open-ended generation [41.59136233128446]
  そこで,本研究では,目標出力の使用を許可し,学習中に関連する経路を「後から」検索できるガイドレトリバーを提案する。 ウィザード・オブ・ウィキペディアのデータセットからの情報的な会話のために、後部誘導訓練により、検索者はトップ10に高い関連性のあるパスを見つける。
  論文  参考訳（メタデータ） (2021-10-14T22:24:57Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。