論文の概要: OneGen: Efficient One-Pass Unified Generation and Retrieval for LLMs

• arxiv url: http://arxiv.org/abs/2409.05152v2
• Date: Wed, 2 Oct 2024 05:02:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 22:38:45.528778
• Title: OneGen: Efficient One-Pass Unified Generation and Retrieval for LLMs
• Title（参考訳）: OneGen: LLMの効率的なワンパス統一生成と検索
• Authors: Jintian Zhang, Cheng Peng, Mengshu Sun, Xiang Chen, Lei Liang, Zhiqiang Zhang, Jun Zhou, Huajun Chen, Ningyu Zhang,
• Abstract要約: ワンパス生成・検索フレームワーク(OneGen) OneGenは、自動回帰的に生成された検索トークンを組み込むことで、生成と検索のための従来の別々のトレーニングアプローチを橋渡しする。 その結果,LLMの生成能力を維持しつつ,検索性能の向上を図っている。
• 参考スコア（独自算出の注目度）: 44.054569398300266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent advancements in Large Language Models (LLMs), which have significantly enhanced the generative capabilities for various NLP tasks, LLMs still face limitations in directly handling retrieval tasks. However, many practical applications demand the seamless integration of both retrieval and generation. This paper introduces a novel and efficient One-pass Generation and retrieval framework (OneGen), designed to improve LLMs' performance on tasks that require both generation and retrieval. The proposed framework bridges the traditionally separate training approaches for generation and retrieval by incorporating retrieval tokens generated autoregressively. This enables a single LLM to handle both tasks simultaneously in a unified forward pass. We conduct experiments on two distinct types of composite tasks, RAG and Entity Linking, to validate the pluggability, effectiveness, and efficiency of OneGen in training and inference. Furthermore, our results show that integrating generation and retrieval within the same context preserves the generative capabilities of LLMs while improving retrieval performance. To the best of our knowledge, OneGen is the first to enable LLMs to conduct vector retrieval during the generation.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs)の進歩により、様々なNLPタスクの生成能力が大幅に向上したにもかかわらず、LLMは検索タスクを直接処理する際の制限に直面している。 しかし、多くの実用的なアプリケーションでは、検索と生成の両方をシームレスに統合する必要がある。 本稿では, 生成と検索の両方を必要とするタスクにおけるLLMの性能向上を目的とした, 新規かつ効率的なOne-pass Generation and Search framework(OneGen)を提案する。 提案フレームワークは, 自己回帰的に生成された検索トークンを組み込むことにより, 従来の個別の学習手法を橋渡しする。 これにより、単一のLLMが両方のタスクを統一されたフォワードパスで同時に処理できる。 RAGとEntity Linkingという2つの異なる種類の複合タスクについて実験を行い、トレーニングと推論におけるOneGenのプラグ可能性、有効性、効率性を検証する。 さらに,本研究の結果は,LLMの生成能力を維持しつつ,検索性能を向上することを示す。 私たちの知る限りでは、OneGen は LLM が生成中にベクトル検索を行うことができる最初の方法です。

関連論文リスト

• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• GenEOL: Harnessing the Generative Power of LLMs for Training-Free Sentence Embeddings [7.957874169275548]
  トレーニング不要な埋め込み手法は、事前訓練された大規模言語モデル(LLM)を直接利用してテキストを埋め込む。 そこで本研究では,LLMを用いて意味を保った文の多種多様な変換を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T17:36:53Z)
• A + B: A General Generator-Reader Framework for Optimizing LLMs to Unleash Synergy Potential [20.1396255995056]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に必要な知識を補う効果的なソリューションである。 LLM自体から生成する検索段階を置き換えるために、"generate-then-read"パイプラインが提案されている。 本稿では,基礎モデルと型の組み合わせの異なる一般的な「A + B」フレームワークを体系的な調査のために形式化する。
  論文  参考訳（メタデータ） (2024-06-06T11:14:27Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Instruction Fusion: Advancing Prompt Evolution through Hybridization [27.321629102942754]
  本稿では,既存の即時進化手法の制約について検討し,新しいアプローチであるインストラクション・フュージョン(IF)を導入する。 IFは、ハイブリッド化プロセスを通じて、2つの異なるプロンプトを革新的に組み合わせ、コードLLMのトレーニングプロンプトの進化を強化する。 実験の結果,提案手法は従来の手法の欠点を効果的に解決し,コードLLMの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-12-25T11:00:37Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。