論文の概要: Can Large Language Models Recall Reference Location Like Humans?
- arxiv url: http://arxiv.org/abs/2402.17010v1
- Date: Mon, 26 Feb 2024 20:35:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 18:44:42.653487
- Title: Can Large Language Models Recall Reference Location Like Humans?
- Title(参考訳): 大規模言語モデルは人間のような参照位置を思い出せるか?
- Authors: Ye Wang, Xinrun Xu, Rui Xie, Wenxin Hu, Wei Ye
- Abstract要約: 本稿では,大規模言語モデルの事前学習期間中に記憶されたパラメータ化知識を活用して,任意の開始位置からの参照文を独立にリコールする方法について検討する。
KILTナレッジセンシティブなタスクの実験では、LLMが様々なタスク形式の参照通路位置を独立にリコールできることが確認されている。
- 参考スコア(独自算出の注目度): 8.657708519922002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When completing knowledge-intensive tasks, humans sometimes need not just an
answer but also a corresponding reference passage for auxiliary reading.
Previous methods required obtaining pre-segmented article chunks through
additional retrieval models. This paper explores leveraging the parameterized
knowledge stored during the pre-training phase of large language models (LLMs)
to independently recall reference passage from any starting position. We
propose a two-stage framework that simulates the scenario of humans recalling
easily forgotten references. Initially, the LLM is prompted to recall document
title identifiers to obtain a coarse-grained document set. Then, based on the
acquired coarse-grained document set, it recalls fine-grained passage. In the
two-stage recall process, we use constrained decoding to ensure that content
outside of the stored documents is not generated. To increase speed, we only
recall a short prefix in the second stage, then locate its position to retrieve
a complete passage. Experiments on KILT knowledge-sensitive tasks have verified
that LLMs can independently recall reference passage location in various task
forms, and the obtained reference significantly assist downstream tasks.
- Abstract(参考訳): 知識集約的なタスクを完了するとき、人間は答えだけでなく、補助的な読解のための参照パスも必要となる。
それまでの方法は、追加の検索モデルにより、事前分割された記事チャンクを取得する必要があった。
本稿では,大言語モデル(llms)の事前学習段階で記憶されたパラメータ化知識を活用して,任意の開始位置から参照通路を独立に記憶する手法を提案する。
忘れやすい参照を記憶する人間のシナリオをシミュレートする2段階フレームワークを提案する。
最初、LLMはドキュメントのタイトル識別子をリコールして、粗い粒度のドキュメントセットを取得するように促される。
そして、取得した粗粒度文書集合に基づいて細粒度を記憶する。
2段階のリコールプロセスでは、制約付きデコードを使用して、格納されたドキュメント以外のコンテンツが生成されないようにする。
速度を上げるために、第2段階の短い接頭辞のみを思い出し、その位置を突き止めて完全な通路を検索する。
KILTナレッジセンシティブなタスクの実験では、LLMが様々なタスク形式の参照通路位置を独立にリコールできることが確認され、得られた参照が下流タスクを著しく補助する。
関連論文リスト
- Beyond Memorization: The Challenge of Random Memory Access in Language
Models [59.89551649808259]
生成言語モデル(LM)がそのメモリに逐次的またはランダムにアクセスできるかどうかを検討する。
本手法により, LMのランダムメモリアクセス性能が向上することがわかった。
論文 参考訳(メタデータ) (2024-03-12T16:42:44Z) - Previously on the Stories: Recap Snippet Identification for Story
Reading [51.641565531840186]
本稿では,手作り評価データセットを用いたRecap Snippet Identificationと呼ばれる,この有用なタスクに関する最初のベンチマークを提案する。
本実験により,提案課題は,提案課題がスニペット間のプロット相関の深い理解を必要とするため,PLM,LSM,および提案手法に難題であることが判明した。
論文 参考訳(メタデータ) (2024-02-11T18:27:14Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [71.98112450207368]
検証可能な生成は、大きな言語モデル(LLM)が対応する文書でテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval) を提案する。
論文 参考訳(メタデータ) (2023-11-14T01:38:02Z) - Language Models As Semantic Indexers [80.76133595275728]
生成言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMINDEXERを紹介する。
本稿では, 逐次離散表現を生成可能なセマンティックインデクサを導入することで, シーケンシャルなシーケンシャルIDの課題に対処する。
学習したセマンティックインデクサは、レコメンデーションや検索など、さまざまな下流タスクを容易にすることができる。
論文 参考訳(メタデータ) (2023-10-11T18:56:15Z) - Reranking Passages with Coarse-to-Fine Neural Retriever using
List-Context Information [0.9463895540925061]
本稿では、他の候補からリストコンテキスト情報を取り入れることで、文節表現を増強するリストコンテキストアテンション機構を提案する。
The proposed coarse-to-fine neural retriever address the out-of-Memory limitation of the passage attention mechanism。
提案手法の有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-08-23T09:29:29Z) - RET-LLM: Towards a General Read-Write Memory for Large Language Models [4.997673761305335]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。
デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。
本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文 参考訳(メタデータ) (2023-05-23T17:53:38Z) - Large Language Models are Built-in Autoregressive Search Engines [19.928494069013485]
大規模言語モデル(LLM)は、人間の指示に従って文書検索用のURLを直接生成することができる。
LLMは、対応するドキュメントの90%近くが、オープンドメインの質問に対する正しい回答を含むWebURLを生成することができる。
論文 参考訳(メタデータ) (2023-05-16T17:04:48Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。