論文の概要: A + B: A General Generator-Reader Framework for Optimizing LLMs to Unleash Synergy Potential

• arxiv url: http://arxiv.org/abs/2406.03963v1
• Date: Thu, 6 Jun 2024 11:14:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 15:10:00.890572
• Title: A + B: A General Generator-Reader Framework for Optimizing LLMs to Unleash Synergy Potential
• Title（参考訳）: A + B: LLMをシナジーポテンシャルの解放に最適化するための一般的なジェネレータ・リーダー・フレームワーク
• Authors: Wei Tang, Yixin Cao, Jiahao Ying, Bo Wang, Yuyue Zhao, Yong Liao, Pengyuan Zhou,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に必要な知識を補う効果的なソリューションである。 LLM自体から生成する検索段階を置き換えるために、"generate-then-read"パイプラインが提案されている。 本稿では,基礎モデルと型の組み合わせの異なる一般的な「A + B」フレームワークを体系的な調査のために形式化する。
• 参考スコア（独自算出の注目度）: 20.1396255995056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) is an effective solution to supplement necessary knowledge to large language models (LLMs). Targeting its bottleneck of retriever performance, "generate-then-read" pipeline is proposed to replace the retrieval stage with generation from the LLM itself. Although promising, this research direction is underexplored and still cannot work in the scenario when source knowledge is given. In this paper, we formalize a general "A + B" framework with varying combinations of foundation models and types for systematic investigation. We explore the efficacy of the base and chat versions of LLMs and found their different functionalities suitable for generator A and reader B, respectively. Their combinations consistently outperform single models, especially in complex scenarios. Furthermore, we extend the application of the "A + B" framework to scenarios involving source documents through continuous learning, enabling the direct integration of external knowledge into LLMs. This approach not only facilitates effective acquisition of new knowledge but also addresses the challenges of safety and helpfulness post-adaptation. The paper underscores the versatility of the "A + B" framework, demonstrating its potential to enhance the practical application of LLMs across various domains.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に必要な知識を補う効果的なソリューションである。 検索性能のボトルネックを狙うため,LLM自体から生成する検索段階に代えて,"generate-then-read"パイプラインを提案する。 有望ではあるが、この研究の方向性は過小評価されており、情報源の知識が与えられた場合のシナリオではまだ機能しない。 本稿では,基礎モデルと型の組み合わせの異なる一般的な「A + B」フレームワークを体系的な調査のために形式化する。 我々は,LLMのベースバージョンとチャット版の有効性について検討し,それぞれが生成器Aと読取器Bに適した機能があることを見出した。 それらの組み合わせは、特に複雑なシナリオにおいて、単一モデルよりも一貫して優れている。 さらに、継続的学習を通じて、ソースドキュメントを含むシナリオへの"A + B"フレームワークの適用を拡大し、外部知識をLCMに直接統合することを可能にする。 このアプローチは、新しい知識の効果的な獲得を促進するだけでなく、安全と適応後の有用性の課題にも対処する。 本稿は、A+Bフレームワークの汎用性を強調し、様々な領域にわたるLCMの実用性を高める可能性を実証する。

関連論文リスト

• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Efficient Reinforcement Learning via Large Language Model-based Search [27.307583105810895]
  大規模言語モデル(LLM)は、自然言語処理の規模で急速に普及している。 MEDIC はモデルベースのfeEDback critIC で LLM を拡張して,抽象的な問題に対して,潜在的に最適だが有効な計画を生成するフレームワークである。 実験の結果, 1) LLM を MEDIC で増強する効果,2) LLM 生成計画によって誘導された PPO および A2C をベースとした RL エージェントの試料複雑さの顕著な改善,3) これらのモデルの使用方法のさらなる検討の方向性が示された。
  論文  参考訳（メタデータ） (2024-05-24T03:53:57Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap [26.959633651475016]
  大規模言語モデル(LLM)と進化的アルゴリズム(EA)の相互作用は、複雑な問題における適用可能性の共通の追求を共有している。 LLMに固有の豊富なドメイン知識により、EAはよりインテリジェントな検索を行うことができる。 本稿では、相互インスピレーションを2つの主要な道に分類する、徹底的なレビューと前方のロードマップを提供する。
  論文  参考訳（メタデータ） (2024-01-18T14:58:17Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。