論文の概要: GripRank: Bridging the Gap between Retrieval and Generation via the Generative Knowledge Improved Passage Ranking

• arxiv url: http://arxiv.org/abs/2305.18144v1
• Date: Mon, 29 May 2023 15:15:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 14:29:23.783416
• Title: GripRank: Bridging the Gap between Retrieval and Generation via the Generative Knowledge Improved Passage Ranking
• Title（参考訳）: GripRank: 検索と生成の間にギャップを埋める - 生成知識によるパスランクの改善
• Authors: Jiaqi Bai, Hongcheng Guo, Jiaheng Liu, Jian Yang, Xinnian Liang, Zhao Yan and Zhoujun Li
• Abstract要約: 本稿では,GripRank(GripRank)アプローチを提案する。 GPEは、候補パスが適切な回答を生成できる確率を測定するために使用される生成言語モデルである。 我々は3つの知識集約型言語タスクにまたがる4つのデータセットの実験を行う。
• 参考スコア（独自算出の注目度）: 38.58655908788953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-enhanced text generation, which aims to leverage passages retrieved from a large passage corpus for delivering a proper answer given the input query, has shown remarkable progress on knowledge-intensive language tasks such as open-domain question answering and knowledge-enhanced dialogue generation. However, the retrieved passages are not ideal for guiding answer generation because of the discrepancy between retrieval and generation, i.e., the candidate passages are all treated equally during the retrieval procedure without considering their potential to generate the proper answers. This discrepancy makes a passage retriever deliver a sub-optimal collection of candidate passages to generate answers. In this paper, we propose the GeneRative Knowledge Improved Passage Ranking (GripRank) approach, addressing the above challenge by distilling knowledge from a generative passage estimator (GPE) to a passage ranker, where the GPE is a generative language model used to measure how likely the candidate passages can generate the proper answer. We realize the distillation procedure by teaching the passage ranker learning to rank the passages ordered by the GPE. Furthermore, we improve the distillation quality by devising a curriculum knowledge distillation mechanism, which allows the knowledge provided by the GPE can be progressively distilled to the ranker through an easy-to-hard curriculum, enabling the passage ranker to correctly recognize the provenance of the answer from many plausible candidates. We conduct extensive experiments on four datasets across three knowledge-intensive language tasks. Experimental results show advantages over the state-of-the-art methods for both passage ranking and answer generation on the KILT benchmark.
• Abstract（参考訳）: 入力クエリから適切な回答を提供するために、大通路コーパスから検索された文を活用しようとする検索強調テキスト生成は、オープンドメイン質問応答や知識強調対話生成といった知識集約型言語タスクにおいて著しく進歩している。 しかし、検索と生成の相違のため、検索された通路は回答生成を導くのに理想的ではない。つまり、適切な回答を生成する可能性を考慮せずに、検索手続き中に候補通路は全て等しく扱われる。 この不一致により、パッセージレトリバーは、回答を生成するために候補パスのサブオプティマイズコレクションを提供する。 本稿では,ジェネレーティブパス推定器 (GPE) から経路ランク装置へ知識を抽出し,提案課題に対処するジェネレーティブ知識改善パスランキング (GripRank) 手法を提案する。 我々は,gpeが発注したパスのランク付けをパスランカ学習に教えることにより,蒸留手順を実現する。 さらに、gpeが提供する知識を難易度の高いカリキュラムを通じて段階的にランチャーに蒸留することができ、多くの有力候補からの回答の出所を正しく認識できるカリキュラム知識蒸留機構を考案し、蒸留品質の向上を図る。 3つの知識集約型言語タスクにまたがる4つのデータセットに関する広範な実験を行った。 実験結果から,KILTベンチマークにおいて,パスランキングと回答生成の両面での最先端手法の利点が示された。

関連論文リスト

• Improve Dense Passage Retrieval with Entailment Tuning [22.39221206192245]
  検索システムの鍵となるのは、クエリとパスペアの関連スコアを計算することである。 我々は、NLIタスクにおけるエンテーメントの概念と、関連性の主要なクラスが一致していることを観察した。 我々は,高密度レトリバーの埋め込みを改善するために,エンテーメントチューニングと呼ばれる手法を設計する。
  論文  参考訳（メタデータ） (2024-10-21T09:18:30Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models [11.716595438057997]
  オープンドメイン質問応答(PSPT)における再ランク付けのためのパス固有プロンプトチューニングを提案する。 PSPTは、学習可能なパス固有のソフトプロンプトを微調整するパラメータ効率の手法である。 我々は,Llama-2-chat-7Bモデルを用いた3つの公開領域質問応答データセットの広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-31T07:43:42Z)
• Distillation Enhanced Generative Retrieval [96.69326099136289]
  生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。 本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。 本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-16T15:48:24Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• Hindsight: Posterior-guided training of retrievers for improved open-ended generation [41.59136233128446]
  そこで,本研究では,目標出力の使用を許可し,学習中に関連する経路を「後から」検索できるガイドレトリバーを提案する。 ウィザード・オブ・ウィキペディアのデータセットからの情報的な会話のために、後部誘導訓練により、検索者はトップ10に高い関連性のあるパスを見つける。
  論文  参考訳（メタデータ） (2021-10-14T22:24:57Z)
• Phrase Retrieval Learns Passage Retrieval, Too [77.57208968326422]
  文節検索が,文節や文書を含む粗いレベルの検索の基盤となるかを検討する。 句検索システムでは,句検索の精度が向上し,句検索の精度が向上していることを示す。 また,句のフィルタリングやベクトル量子化により,インデックスのサイズを4～10倍に削減できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T17:42:45Z)
• Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters [52.725200145600624]
  軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。 実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2021-05-13T12:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。