論文の概要: Self-Retrieval: End-to-End Information Retrieval with One Large Language Model

• arxiv url: http://arxiv.org/abs/2403.00801v2
• Date: Mon, 04 Nov 2024 03:07:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:43:04.321239
• Title: Self-Retrieval: End-to-End Information Retrieval with One Large Language Model
• Title（参考訳）: 自己検索:一大言語モデルを用いたエンドツーエンド情報検索
• Authors: Qiaoyu Tang, Jiawei Chen, Zhuoqun Li, Bowen Yu, Yaojie Lu, Cheng Fu, Haiyang Yu, Hongyu Lin, Fei Huang, Ben He, Xianpei Han, Le Sun, Yongbin Li,
• Abstract要約: 本稿では,新たなLLM駆動情報検索アーキテクチャであるSelf-Retrievalを紹介する。 自己検索は、自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスをシーケンシャルな通過生成に変換し、再ランク付けのための関連性評価を行う。
• 参考スコア（独自算出の注目度）: 97.71181484082663
• License:
• Abstract: The rise of large language models (LLMs) has significantly transformed both the construction and application of information retrieval (IR) systems. However, current interactions between IR systems and LLMs remain limited, with LLMs merely serving as part of components within IR systems, and IR systems being constructed independently of LLMs. This separated architecture restricts knowledge sharing and deep collaboration between them. In this paper, we introduce Self-Retrieval, a novel end-to-end LLM-driven information retrieval architecture. Self-Retrieval unifies all essential IR functions within a single LLM, leveraging the inherent capabilities of LLMs throughout the IR process. Specifically, Self-Retrieval internalizes the retrieval corpus through self-supervised learning, transforms the retrieval process into sequential passage generation, and performs relevance assessment for reranking. Experimental results demonstrate that Self-Retrieval not only outperforms existing retrieval approaches by a significant margin, but also substantially enhances the performance of LLM-driven downstream applications like retrieval-augmented generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)の台頭は、情報検索(IR)システムの構築と応用の両方に大きな変化をもたらした。 しかし、現在のIRシステムとLLM間の相互作用は限定的であり、LCMは単にIRシステム内のコンポーネントの一部として機能し、IRシステムはLLMとは独立に構築されている。 この分離されたアーキテクチャは、知識共有とそれら間の深いコラボレーションを制限する。 本稿では,新たなLLM駆動型情報検索アーキテクチャであるSelf-Retrievalを紹介する。 自己検索(Self-Retrieval)は、単一のLLM内で必須のすべてのIR機能を統一し、IRプロセスを通してLLMの本質的な能力を活用する。 具体的には、自己検索は自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスを逐次通過生成に変換し、再ランク付けのための関連性評価を行う。 実験結果から、自己検索は既存の検索手法をかなりのマージンで上回るだけでなく、検索強化生成のようなLLM駆動下流アプリケーションの性能を大幅に向上させることが示された。

関連論文リスト

• Learning vs Retrieval: The Role of In-Context Examples in Regression with LLMs [18.983753573277596]
  そこで本研究では,内部知識の獲得と学習を併用した,文脈内学習機構の評価フレームワークを提案する。 まず、LLMが実世界のデータセット上で回帰処理を行い、LLMが内部知識を取得する範囲を計測する実験を設計できることを示す。 本稿では,これらのメカニズムが様々な要因によって引き起こされる度合いを詳細に分析する。
  論文  参考訳（メタデータ） (2024-09-06T14:46:37Z)
• IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues [10.280113107290067]
  IM-RAGアプローチは、多ラウンドRAGをサポートするために、情報検索システムとLarge Language Models (LLM)を統合する。 IMプロセス全体が強化学習(Reinforcement Learning, RL)によって最適化され、プログレストラッカーが組み込まれ、中間段階の報酬が提供される。 提案手法は, 赤外線モジュールの統合において高い柔軟性を提供しながら, 最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2024-05-15T12:41:20Z)
• Recall, Retrieve and Reason: Towards Better In-Context Relation Extraction [11.535892987373947]
  関係抽出(RE)は、テキストで言及されたエンティティ間の関係を特定することを目的としている。 大規模言語モデル(LLM)は、様々なタスクにおいて、コンテキスト内学習能力を印象的に示している。 LLMは、ほとんどの教師付き細調整RE法と比較して性能が劣る。
  論文  参考訳（メタデータ） (2024-04-27T07:12:52Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
  LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。 本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
  論文  参考訳（メタデータ） (2023-11-21T02:01:01Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Information Retrieval Meets Large Language Models: A Strategic Report from Chinese IR Community [180.28262433004113]
  大規模言語モデル(LLM)は、テキスト理解、生成、知識推論において例外的な能力を示した。 LLMと人間は、情報検索のためにより強力な新しい技術パラダイムを形成します。 LLMがIR研究に与える影響を徹底的に議論するため、中国のIRコミュニティは2023年4月に戦略的ワークショップを開催した。
  論文  参考訳（メタデータ） (2023-07-19T05:23:43Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks [121.74957524305283]
  本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-28T10:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。