論文の概要: Can Large Language Models Recall Reference Location Like Humans?

• arxiv url: http://arxiv.org/abs/2402.17010v1
• Date: Mon, 26 Feb 2024 20:35:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:44:42.653487
• Title: Can Large Language Models Recall Reference Location Like Humans?
• Title（参考訳）: 大規模言語モデルは人間のような参照位置を思い出せるか?
• Authors: Ye Wang, Xinrun Xu, Rui Xie, Wenxin Hu, Wei Ye
• Abstract要約: 本稿では,大規模言語モデルの事前学習期間中に記憶されたパラメータ化知識を活用して,任意の開始位置からの参照文を独立にリコールする方法について検討する。 KILTナレッジセンシティブなタスクの実験では、LLMが様々なタスク形式の参照通路位置を独立にリコールできることが確認されている。
• 参考スコア（独自算出の注目度）: 8.657708519922002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When completing knowledge-intensive tasks, humans sometimes need not just an answer but also a corresponding reference passage for auxiliary reading. Previous methods required obtaining pre-segmented article chunks through additional retrieval models. This paper explores leveraging the parameterized knowledge stored during the pre-training phase of large language models (LLMs) to independently recall reference passage from any starting position. We propose a two-stage framework that simulates the scenario of humans recalling easily forgotten references. Initially, the LLM is prompted to recall document title identifiers to obtain a coarse-grained document set. Then, based on the acquired coarse-grained document set, it recalls fine-grained passage. In the two-stage recall process, we use constrained decoding to ensure that content outside of the stored documents is not generated. To increase speed, we only recall a short prefix in the second stage, then locate its position to retrieve a complete passage. Experiments on KILT knowledge-sensitive tasks have verified that LLMs can independently recall reference passage location in various task forms, and the obtained reference significantly assist downstream tasks.
• Abstract（参考訳）: 知識集約的なタスクを完了するとき、人間は答えだけでなく、補助的な読解のための参照パスも必要となる。 それまでの方法は、追加の検索モデルにより、事前分割された記事チャンクを取得する必要があった。 本稿では,大言語モデル(llms)の事前学習段階で記憶されたパラメータ化知識を活用して,任意の開始位置から参照通路を独立に記憶する手法を提案する。 忘れやすい参照を記憶する人間のシナリオをシミュレートする2段階フレームワークを提案する。 最初、LLMはドキュメントのタイトル識別子をリコールして、粗い粒度のドキュメントセットを取得するように促される。 そして、取得した粗粒度文書集合に基づいて細粒度を記憶する。 2段階のリコールプロセスでは、制約付きデコードを使用して、格納されたドキュメント以外のコンテンツが生成されないようにする。 速度を上げるために、第2段階の短い接頭辞のみを思い出し、その位置を突き止めて完全な通路を検索する。 KILTナレッジセンシティブなタスクの実験では、LLMが様々なタスク形式の参照通路位置を独立にリコールできることが確認され、得られた参照が下流タスクを著しく補助する。

関連論文リスト

• Identifying the Source of Generation for Large Language Models [21.919661430250798]
  LLM(Large Language Model)は、複数の文書ソースからのテキストを記憶する言語である。 LLMは生成されたコンテンツに関する文書情報を提供できない。 この研究は、デコードステップでトークンレベルのソース識別を導入する。
  論文  参考訳（メタデータ） (2024-07-05T08:52:15Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Memorizing Documents with Guidance in Large Language Models [21.919661430250798]
  トレーニング中の文書記憶を追跡するための文書記憶アーキテクチャを提案する。 提案手法は文書に対する異なるメモリエントリを提供し、文書関連コンテンツを学習された文書関連メモリで生成する。
  論文  参考訳（メタデータ） (2024-06-23T03:12:03Z)
• The Power of Summary-Source Alignments [62.76959473193149]
  多文書要約(MDS)は難しい課題であり、しばしばサリエンスと冗長性検出のサブタスクに分解される。 参照要約とそのソース文書間の対応する文のアライメントを利用して、トレーニングデータを生成する。 本稿では,よりきめ細かな提案スパンレベルで適用することで,要約ソースアライメントフレームワークを拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:35:19Z)
• R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models [32.598670876662375]
  Retrieval-augmented large language model (LLMs) は、情報検索システムによって取得された関連コンテンツを利用して正しい応答を生成する。 既存のレトリバー・サプライヤ・メソッドは、テキスト生成タスクを実行するために LLM のプロンプトに関連文書を追加するのが一般的である。 検索拡張LDMのための文書順序付けを学習するための新しいパイプライン"Reinforced Retriever-Reorder-Responder"を提案する。
  論文  参考訳（メタデータ） (2024-05-04T12:59:10Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。