論文の概要: Self-Retrieval: Building an Information Retrieval System with One Large
Language Model
- arxiv url: http://arxiv.org/abs/2403.00801v1
- Date: Fri, 23 Feb 2024 18:45:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-10 23:58:03.235910
- Title: Self-Retrieval: Building an Information Retrieval System with One Large
Language Model
- Title(参考訳): 自己再生:1つの大きな言語モデルによる情報検索システムの構築
- Authors: Qiaoyu Tang, Jiawei Chen, Bowen Yu, Yaojie Lu, Cheng Fu, Haiyang Yu,
Hongyu Lin, Fei Huang, Ben He, Xianpei Han, Le Sun, Yongbin Li
- Abstract要約: Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。
本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
- 参考スコア(独自算出の注目度): 102.78988790457004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rise of large language models (LLMs) has transformed the role of
information retrieval (IR) systems in the way to humans accessing information.
Due to the isolated architecture and the limited interaction, existing IR
systems are unable to fully accommodate the shift from directly providing
information to humans to indirectly serving large language models. In this
paper, we propose Self-Retrieval, an end-to-end, LLM-driven information
retrieval architecture that can fully internalize the required abilities of IR
systems into a single LLM and deeply leverage the capabilities of LLMs during
IR process. Specifically, Self-retrieval internalizes the corpus to retrieve
into a LLM via a natural language indexing architecture. Then the entire
retrieval process is redefined as a procedure of document generation and
self-assessment, which can be end-to-end executed using a single large language
model. Experimental results demonstrate that Self-Retrieval not only
significantly outperforms previous retrieval approaches by a large margin, but
also can significantly boost the performance of LLM-driven downstream
applications like retrieval augumented generation.
- Abstract(参考訳): 大規模言語モデル(LLM)の台頭は、情報へのアクセス方法における情報検索(IR)システムの役割に変化をもたらした。
孤立したアーキテクチャと限られた相互作用のため、既存のIRシステムは、人間が直接情報を提供することから、間接的に機能する大きな言語モデルへの移行に完全に対応できない。
本稿では、irシステムの要求する能力を単一のllmに完全に内部化し、irプロセス中にllmの能力を深く活用できる、エンドツーエンドのllm駆動情報検索アーキテクチャであるself-retrievalを提案する。
具体的には、自己回帰は自然言語インデクシングアーキテクチャを介して、コーパスを内部化しllmに取得する。
次に、検索プロセス全体を文書生成と自己評価の手順として再定義し、単一の大規模言語モデルを用いてエンドツーエンドで実行できる。
実験結果から,自己検索は従来の検索手法を大きなマージンで大幅に上回るだけでなく,検索オーグメンテーション生成のようなLLM駆動下流アプリケーションの性能も著しく向上することが示された。
関連論文リスト
- Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - INTERS: Unlocking the Power of Large Language Models in Search with
Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳(メタデータ) (2024-01-12T12:10:28Z) - Adapting LLMs for Efficient, Personalized Information Retrieval: Methods
and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。
本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文 参考訳(メタデータ) (2023-11-21T02:01:01Z) - LMDX: Language Model-based Document Information Extraction and
Localization [15.686075399512534]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらした
本稿では,文書情報の抽出に任意の LLM を適用する手法である LMDX を紹介する。
論文 参考訳(メタデータ) (2023-09-19T22:32:56Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z) - Large Language Models for Information Retrieval: A Survey [57.7992728506871]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳(メタデータ) (2023-08-14T12:47:22Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - In-Context Retrieval-Augmented Language Models [28.23702459322163]
In-Context RALMは市販の汎用検索機を利用して、モデルサイズや多様なコーパスに対して驚くほど大きなLMゲインを提供する。
In-Context RALM は LM の接地頻度を増大させる可能性があると結論付けている。
論文 参考訳(メタデータ) (2023-01-31T20:26:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。