論文の概要: IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues

• arxiv url: http://arxiv.org/abs/2405.13021v1
• Date: Wed, 15 May 2024 12:41:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 02:48:13.108860
• Title: IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues
• Title（参考訳）: IM-RAG:内部モノローグ学習による複数ルート検索型生成
• Authors: Diji Yang, Jinmeng Rao, Kezhen Chen, Xiaoyuan Guo, Yawen Zhang, Jie Yang, Yi Zhang,
• Abstract要約: IM-RAGアプローチは、多ラウンドRAGをサポートするために、情報検索システムとLarge Language Models (LLM)を統合する。 IMプロセス全体が強化学習(Reinforcement Learning, RL)によって最適化され、プログレストラッカーが組み込まれ、中間段階の報酬が提供される。 提案手法は, 赤外線モジュールの統合において高い柔軟性を提供しながら, 最先端(SOTA)性能を実現する。
• 参考スコア（独自算出の注目度）: 10.280113107290067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although the Retrieval-Augmented Generation (RAG) paradigms can use external knowledge to enhance and ground the outputs of Large Language Models (LLMs) to mitigate generative hallucinations and static knowledge base problems, they still suffer from limited flexibility in adopting Information Retrieval (IR) systems with varying capabilities, constrained interpretability during the multi-round retrieval process, and a lack of end-to-end optimization. To address these challenges, we propose a novel LLM-centric approach, IM-RAG, that integrates IR systems with LLMs to support multi-round RAG through learning Inner Monologues (IM, i.e., the human inner voice that narrates one's thoughts). During the IM process, the LLM serves as the core reasoning model (i.e., Reasoner) to either propose queries to collect more information via the Retriever or to provide a final answer based on the conversational context. We also introduce a Refiner that improves the outputs from the Retriever, effectively bridging the gap between the Reasoner and IR modules with varying capabilities and fostering multi-round communications. The entire IM process is optimized via Reinforcement Learning (RL) where a Progress Tracker is incorporated to provide mid-step rewards, and the answer prediction is further separately optimized via Supervised Fine-Tuning (SFT). We conduct extensive experiments with the HotPotQA dataset, a popular benchmark for retrieval-based, multi-step question-answering. The results show that our approach achieves state-of-the-art (SOTA) performance while providing high flexibility in integrating IR modules as well as strong interpretability exhibited in the learned inner monologues.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) パラダイムは、生成幻覚や静的知識ベース問題を軽減するために、Large Language Models (LLMs) の出力を強化するために外部知識を使用することができるが、多ラウンド検索プロセスにおける制約付き解釈可能性、エンドツーエンド最適化の欠如など、様々な機能を持つ情報検索(IR)システムを採用する際の柔軟性が制限されている。 これらの課題に対処するために,内的モノローグ(IM,すなわち思考を物語る人間の内的声)を学習することで,IRシステムとLLMを統合した新しいIM-RAGを提案する。 IMプロセス中、LLMはコア推論モデル(Reasoner)として機能し、Retrieverを介してより多くの情報を集めるためのクエリを提案するか、会話コンテキストに基づいた最終的な回答を提供する。 また、Retrieverからの出力を改善するRefinerを導入し、ReasonerとIRモジュール間のギャップを様々な機能で効果的に埋め、マルチラウンド通信を促進する。 IMプロセス全体が強化学習(Reinforcement Learning, RL)によって最適化され、プログレッシブ・トラッカーが組み込まれて中間ステップの報酬が与えられ、回答予測はスーパーバイザード・ファイン・チューニング(SFT)を介してさらに個別に最適化される。 検索に基づく多段階質問応答のための一般的なベンチマークであるHotPotQAデータセットを用いて、広範な実験を行う。 その結果,本手法は,IRモジュールの統合における高い柔軟性と,学習した内部モノローグに現れる強い解釈可能性を提供しながら,最先端(SOTA)性能を達成できることが示唆された。

関連論文リスト

• Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding [11.5386284281652]
  動的インテキスト編集による情報検索を再現する新しい手法を提案する。 長大な文脈を拡張可能な外部知識として扱うことにより,本手法は対話的に関連情報を収集・統合する。 実験結果から,提案手法はコンテキスト限定LLMを効果的に活用し,マルチホップ推論に有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-18T06:54:28Z)
• Retrieval Meets Reasoning: Even High-school Textbook Knowledge Benefits Multimodal Reasoning [49.3242278912771]
  RMR(Retrieval Meets Reasoning)と呼ばれる新しいマルチモーダルRAGフレームワークについて紹介する。 RMRフレームワークは、最も関連性の高い問合せ対を特定するために、バイモーダル検索モジュールを使用する。 これは、ベンチマークデータセットのスペクトルにわたって様々なビジョン言語モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-31T14:23:49Z)
• Wiki-LLaVA: Hierarchical Retrieval-Augmented Generation for Multimodal LLMs [39.54891426369773]
  外部知識を必要とする疑問に答える能力を備えたモデルの提供に注力する。 我々のアプローチはWiki-LLaVAと呼ばれ、マルチモーダル文書の外部知識ソースを統合することを目的としている。 我々は,外部データによる視覚的質問応答に適したデータセットについて広範な実験を行い,その妥当性を実証する。
  論文  参考訳（メタデータ） (2024-04-23T18:00:09Z)
• Self-Retrieval: Building an Information Retrieval System with One Large Language Model [102.78988790457004]
  Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。 本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-23T18:45:35Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• MISAR: A Multimodal Instructional System with Augmented Reality [38.79160527414268]
  Augmented Reality (AR) は、視覚、聴覚、言語チャネルのシームレスな統合を必要とする。 本研究では,大規模言語モデル(LLM)を用いた視覚・聴覚・文脈の類似化手法を提案する。
  論文  参考訳（メタデータ） (2023-10-18T04:15:12Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Large Language Models for Information Retrieval: A Survey [57.7992728506871]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。