論文の概要: Generative Retrieval with Large Language Models

• arxiv url: http://arxiv.org/abs/2402.17010v2
• Date: Tue, 29 Oct 2024 08:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 02:59:55.453213
• Title: Generative Retrieval with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた生成検索
• Authors: Ye Wang, Xinrun Xu, Rui Xie, Wenxin Hu, Wei Ye,
• Abstract要約: 本稿では,大規模言語モデルの事前学習期間中に記憶されたパラメータ化知識を活用して,任意の開始位置からの参照文を独立にリコールする方法について検討する。 KILTナレッジセンシティブなタスクの実験では、LLMが様々なタスク形式の参照通路位置を独立にリコールできることが確認されている。
• 参考スコア（独自算出の注目度）: 8.069852420775362
• License:
• Abstract: When completing knowledge-intensive tasks, humans sometimes need not just an answer but also a corresponding reference passage for auxiliary reading. Previous methods required obtaining pre-segmented article chunks through additional retrieval models. This paper explores leveraging the parameterized knowledge stored during the pre-training phase of large language models (LLMs) to independently recall reference passage from any starting position. We propose a two-stage framework that simulates the scenario of humans recalling easily forgotten references. Initially, the LLM is prompted to recall document title identifiers to obtain a coarse-grained document set. Then, based on the acquired coarse-grained document set, it recalls fine-grained passage. In the two-stage recall process, we use constrained decoding to ensure that content outside of the stored documents is not generated. To increase speed, we only recall a short prefix in the second stage, then locate its position to retrieve a complete passage. Experiments on KILT knowledge-sensitive tasks have verified that LLMs can independently recall reference passage location in various task forms, and the obtained reference significantly assist downstream tasks.
• Abstract（参考訳）: 知識集約的なタスクを完了するとき、人間は答えだけでなく、補助的な読解のための参照パスも必要である。 それまでの方法は、追加の検索モデルにより、事前分割された記事チャンクを取得する必要があった。 本稿では,大規模言語モデル(LLM)の事前学習期間中に記憶されたパラメータ化知識を利用して,任意の開始位置からの参照文を独立に参照する方法について検討する。 本稿では,忘れやすい参照をリコールする人間のシナリオをシミュレートする2段階のフレームワークを提案する。 最初、LLMはドキュメントのタイトル識別子をリコールして、粗い粒度のドキュメントセットを取得するように促される。 そして、取得した粗粒度ドキュメントセットに基づいて、細粒度パスをリコールする。 2段階のリコールプロセスでは、制約付きデコードを使用して、格納された文書以外のコンテンツが生成されないことを保証する。 速度を上げるために、第2段階の短い接頭辞のみを思い出し、その位置を突き止めて完全な通路を検索する。 KILTナレッジセンシティブなタスクの実験では、LLMが様々なタスク形式の参照通路位置を独立にリコールできることが確認され、得られた参照は下流タスクを著しく補助する。

関連論文リスト

• Identifying the Source of Generation for Large Language Models [21.919661430250798]
  LLM(Large Language Model)は、複数の文書ソースからのテキストを記憶する言語である。 LLMは生成されたコンテンツに関する文書情報を提供できない。 この研究は、デコードステップでトークンレベルのソース識別を導入する。
  論文  参考訳（メタデータ） (2024-07-05T08:52:15Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Memorizing Documents with Guidance in Large Language Models [21.919661430250798]
  トレーニング中の文書記憶を追跡するための文書記憶アーキテクチャを提案する。 提案手法は文書に対する異なるメモリエントリを提供し、文書関連コンテンツを学習された文書関連メモリで生成する。
  論文  参考訳（メタデータ） (2024-06-23T03:12:03Z)
• The Power of Summary-Source Alignments [62.76959473193149]
  多文書要約(MDS)は難しい課題であり、しばしばサリエンスと冗長性検出のサブタスクに分解される。 参照要約とそのソース文書間の対応する文のアライメントを利用して、トレーニングデータを生成する。 本稿では,よりきめ細かな提案スパンレベルで適用することで,要約ソースアライメントフレームワークを拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:35:19Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models [32.598670876662375]
  Retrieval-augmented large language model (LLMs) は、情報検索システムによって取得された関連コンテンツを利用して正しい応答を生成する。 既存のレトリバー・サプライヤ・メソッドは、テキスト生成タスクを実行するために LLM のプロンプトに関連文書を追加するのが一般的である。 検索拡張LDMのための文書順序付けを学習するための新しいパイプライン"Reinforced Retriever-Reorder-Responder"を提案する。
  論文  参考訳（メタデータ） (2024-05-04T12:59:10Z)
• Previously on the Stories: Recap Snippet Identification for Story Reading [51.641565531840186]
  本稿では,手作り評価データセットを用いたRecap Snippet Identificationと呼ばれる,この有用なタスクに関する最初のベンチマークを提案する。 本実験により,提案課題は,提案課題がスニペット間のプロット相関の深い理解を必要とするため,PLM,LSM,および提案手法に難題であることが判明した。
  論文  参考訳（メタデータ） (2024-02-11T18:27:14Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。