論文の概要: Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

• arxiv url: http://arxiv.org/abs/2405.19893v1
• Date: Thu, 30 May 2024 09:50:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 14:59:14.908135
• Title: Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts
• Title（参考訳）: 類似性は必ずしも必要ではない:多層思考による検索拡張生成の促進
• Authors: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou,
• Abstract要約: 我々は、類似性は必ずしもパナセアではなく、類似性に完全に依存することは、時として検索拡張生成の性能を低下させるであろうと論じている。 我々はMulti layEred ThoughtsEnhanced Retrieval Augmented GenerationフレームワークであるMetRagを提案する。
• 参考スコア（独自算出の注目度）: 39.47316836096974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) は様々な領域において顕著な成果を上げている。 しかし、LLMの幻覚化問題と相まって知識更新の非タイムラインとコストは、検索強化生成(RAG)が役立つような知識集約的なタスクにおいて、その適用範囲を狭めている。 それにもかかわらず、既存の検索拡張モデルは典型的には、クエリとドキュメントの間のブリッジとして類似性を使用し、読み出し手順に従って検索する。 本研究では, 類似性は必ずしもパナセアに限らず, 類似性に依存しているため, 検索再生の性能が低下することがあると論じる。 そこで我々は,Multi layEred Thoughts enhanced Retrieval Augmented Generation frameworkであるMetRagを提案する。 まず,従来の類似性指向思考以外にも,実用性指向思考のためのLLMから監督を引き出す小型ユーティリティモデルを採用し,その類似性と実用性指向思考を包括的に組み合わせて,よりスマートなモデルを提案する。 さらに, 検索した文書集合が巨大で, 単独で使用すると, 共通点や特徴を捉えるのが難しくなることから, LLMをタスク適応要約器として作成し, コンパクト性を重視した検索生成を支援することを提案する。 最後に、先進的な段階からの多層的思考により、LLMは知識拡張生成のために呼ばれる。 知識集約型タスクに関する大規模な実験は、MetRagの優位性を実証している。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• OneGen: Efficient One-Pass Unified Generation and Retrieval for LLMs [44.054569398300266]
  ワンパス生成・検索フレームワーク(OneGen) OneGenは、自動回帰的に生成された検索トークンを組み込むことで、生成と検索のための従来の別々のトレーニングアプローチを橋渡しする。 その結果,LLMの生成能力を維持しつつ,検索性能の向上を図っている。
  論文  参考訳（メタデータ） (2024-09-08T16:35:19Z)
• A + B: A General Generator-Reader Framework for Optimizing LLMs to Unleash Synergy Potential [20.1396255995056]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に必要な知識を補う効果的なソリューションである。 LLM自体から生成する検索段階を置き換えるために、"generate-then-read"パイプラインが提案されている。 本稿では,基礎モデルと型の組み合わせの異なる一般的な「A + B」フレームワークを体系的な調査のために形式化する。
  論文  参考訳（メタデータ） (2024-06-06T11:14:27Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。