論文の概要: Hindsight: Posterior-guided training of retrievers for improved
open-ended generation
- arxiv url: http://arxiv.org/abs/2110.07752v1
- Date: Thu, 14 Oct 2021 22:24:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 06:29:10.589828
- Title: Hindsight: Posterior-guided training of retrievers for improved
open-ended generation
- Title（参考訳）: 後遺症 : 開放型世代改善のためのレトリバーの後方誘導訓練
- Authors: Ashwin Paranjape, Omar Khattab, Christopher Potts, Matei Zaharia,
Christopher D. Manning
- Abstract要約: そこで,本研究では,目標出力の使用を許可し,学習中に関連する経路を「後から」検索できるガイドレトリバーを提案する。
ウィザード・オブ・ウィキペディアのデータセットからの情報的な会話のために、後部誘導訓練により、検索者はトップ10に高い関連性のあるパスを見つける。
- 参考スコア（独自算出の注目度）: 41.59136233128446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many text generation systems benefit from using a retriever to retrieve
passages from a textual knowledge corpus (e.g., Wikipedia) which are then
provided as additional context to the generator. For open-ended generation
tasks (like generating informative utterances in conversations) many varied
passages may be equally relevant and we find that existing methods that jointly
train the retriever and generator underperform: the retriever may not find
relevant passages even amongst the top-10 and hence the generator may not learn
a preference to ground its generated output in them. We propose using an
additional guide retriever that is allowed to use the target output and "in
hindsight" retrieve relevant passages during training. We model the guide
retriever after the posterior distribution Q of passages given the input and
the target output and train it jointly with the standard retriever and the
generator by maximizing the evidence lower bound (ELBo) in expectation over Q.
For informative conversations from the Wizard of Wikipedia dataset, with
posterior-guided training, the retriever finds passages with higher relevance
in the top-10 (23% relative improvement), the generator's responses are more
grounded in the retrieved passage (19% relative improvement) and the end-to-end
system produces better overall output (6.4% relative improvement).
- Abstract（参考訳）: 多くのテキスト生成システムは、検索器を使用してテキスト知識コーパス(例えばウィキペディア)からパスを検索し、生成装置に追加のコンテキストとして提供される。
オープンエンドの世代タスク(会話で情報的な発話を生成するなど)では、多くの異なる通路が等しく関連しており、レトリバーとジェネレータのアンダーパーフォームを共同で訓練する既存の方法を見つける:レトリバーはトップ10の中にも関連する通路を見つけられず、したがってジェネレータはその出力を接地する好みを学習できない。
目標出力の使用を許可した追加のガイドレトリバーを用いて,訓練中の関連通路を「後見」で検索する。
We model the guide retriever after the posterior distribution Q of passages given the input and the target output and train it jointly with the standard retriever and the generator by maximizing the evidence lower bound (ELBo) in expectation over Q. For informative conversations from the Wizard of Wikipedia dataset, with posterior-guided training, the retriever finds passages with higher relevance in the top-10 (23% relative improvement), the generator's responses are more grounded in the retrieved passage (19% relative improvement) and the end-to-end system produces better overall output (6.4% relative improvement).
関連論文リスト
- Improving Retrieval-Augmented Code Comment Generation by Retrieving for Generation [3.123049150077741]
本稿では,生成者のフィードバックから学習し,生成のための模範を検索するための新しい学習手法を提案する。
検索者が検索したハイスコアな例題とジェネレータが観測した低損失な例題とを合わせることで、検索者は生成したコメントの質を最も良くする例題を検索することができる。
論文 参考訳（メタデータ） (2024-08-07T08:32:55Z) - RLCoder: Reinforcement Learning for Repository-Level Code Completion [39.38066628941757]
Repositoryレベルのコード補完は、指定されたリポジトリのコンテキスト内で未完成のコードスニペットのためのコードを生成することを目的としている。
既存のアプローチは主に、入力シーケンス長の制限による検索強化された生成戦略に依存している。
ラベル付きデータを必要とせずに、検索者がコード補完に有用なコンテンツを取得することができる新しい強化学習フレームワークであるRLCoderを提案する。
論文 参考訳（メタデータ） (2024-07-28T12:47:20Z) - Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。
本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。
本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文 参考訳（メタデータ） (2024-03-22T17:13:46Z) - Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue
System [40.33178881317882]
本稿では、応答生成からの信号を利用して、知覚的レトリバーの学習に最大限の限界確率を適用することを提案する。
本稿では,T5とChatGPTをバックボーンモデルとして用いた3つのタスク指向対話データセットについて検討する。
論文 参考訳（メタデータ） (2023-10-13T06:03:47Z) - Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge
Selection [71.20871905457174]
言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。
従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。
本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
論文 参考訳（メタデータ） (2023-08-30T02:22:40Z) - GripRank: Bridging the Gap between Retrieval and Generation via the
Generative Knowledge Improved Passage Ranking [42.98064495920065]
本稿では,知識集約型言語タスクに対するジェネレーティブな知識改善パスランク付け(GripRank)手法を提案する。
GPEは、候補パスが適切な回答を生成できる確率を測定するために使用される生成言語モデルである。
我々は3つの知識集約型言語タスクにまたがる4つのデータセットの実験を行う。
論文 参考訳（メタデータ） (2023-05-29T15:15:53Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳（メタデータ） (2023-05-24T16:17:36Z) - ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。
本稿では,リランカを利用してリコールを改善する手法を提案する。
論文 参考訳（メタデータ） (2023-05-19T15:30:33Z) - Active Retrieval Augmented Generation [123.68874416084499]
外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。
ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。
本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
論文 参考訳（メタデータ） (2023-05-11T17:13:40Z) - Learning to Retrieve Passages without Supervision [58.31911597824848]
オープンドメイン質問応答(ODQA)のためのダンスレトリバーは,問合せペアの大規模データセットをトレーニングすることで,優れた性能を発揮することが示されている。
そこで本研究では,自己教師型で高密度検索が学べるかどうかを考察し,アノテーションを使わずに効果的に適用する。
論文 参考訳（メタデータ） (2021-12-14T19:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。