論文の概要: An Empirical Study of Retrieval Augmented Generation with Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2407.15569v2
• Date: Fri, 30 Aug 2024 14:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 17:48:46.448851
• Title: An Empirical Study of Retrieval Augmented Generation with Chain-of-Thought
• Title（参考訳）: チェイン・オブ・サートを用いた検索増強生成の実証的研究
• Authors: Yuetong Zhao, Hongyu Cao, Xianyu Zhao, Zhijian Ou,
• Abstract要約: 本稿では,RAFT(Retrieval Augmented Fine-Tuning)法の有効性について述べる。 RAFT法を複数のデータセットにまたがって評価し,その性能を様々な推論タスクで解析した。
• 参考スコア（独自算出の注目度）: 8.195946489216967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the launch of ChatGPT at the end of 2022, generative dialogue models represented by ChatGPT have quickly become essential tools in daily life. As user expectations increase, enhancing the capability of generative dialogue models to solve complex problems has become a focal point of current research. This paper delves into the effectiveness of the RAFT (Retrieval Augmented Fine-Tuning) method in improving the performance of Generative dialogue models. RAFT combines chain-of-thought with model supervised fine-tuning (SFT) and retrieval augmented generation (RAG), which significantly enhanced the model's information extraction and logical reasoning abilities. We evaluated the RAFT method across multiple datasets and analysed its performance in various reasoning tasks, including long-form QA and short-form QA tasks, tasks in both Chinese and English, and supportive and comparison reasoning tasks. Notably, it addresses the gaps in previous research regarding long-form QA tasks and Chinese datasets. Moreover, we also evaluate the benefit of the chain-of-thought (CoT) in the RAFT method. This work offers valuable insights for studies focused on enhancing the performance of generative dialogue models.
• Abstract（参考訳）: 2022年末にChatGPTがローンチされて以来、ChatGPTで表される生成対話モデルは、急速に日常生活において必須のツールになりつつある。 ユーザの期待が高まるにつれ、複雑な問題を解決するための生成対話モデルの能力の向上が、現在研究の焦点となっている。 本稿では,RAFT(Retrieval Augmented Fine-Tuning)法の有効性について述べる。 RAFTは、チェーン・オブ・ソートとモデル教師付き微調整(SFT)と検索拡張生成(RAG)を組み合わせることで、モデルの情報抽出と論理的推論能力を大幅に向上させる。 RAFT法を複数のデータセットで評価し、長文QAタスクや短文QAタスク、中国語と英語のタスク、支援的および比較的推論タスクなど、様々な推論タスクのパフォーマンスを分析した。 特に、長期QAタスクと中国のデータセットに関するこれまでの研究のギャップに対処している。 さらに,RAFT法におけるチェーン・オブ・シント(CoT)の利点も評価した。 この研究は、生成的対話モデルの性能向上に焦点をあてた研究に貴重な洞察を与える。

関連論文リスト

• Enhancing Question Answering Precision with Optimized Vector Retrieval and Instructions [1.2425910171551517]
  質問応答 (QA) は情報検索 (IR) と言語モデルの重要な応用である。 本稿では、最適化されたベクトル検索と命令手法を統合することにより、QAタスク性能を改善するための革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T21:14:04Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• Making Long-Context Language Models Better Multi-Hop Reasoners [42.09676404515287]
  本稿では,各アサーションに対するアトリビューションの供給を促す新しいアプローチであるReasoning with Attributionsを紹介する。 我々は,プロプライエタリモデルとオープンソースモデルの両方を用いて,3つのマルチホップデータセットの実験を通じてアプローチを検証する。 本モデルでは,ChatGPT や Claude-Instant などの独自の LM を並列化して,マルチホップ推論ベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-08-06T15:06:40Z)
• DuetRAG: Collaborative Retrieval-Augmented Generation [57.440772556318926]
  協調検索拡張生成フレームワークであるDuetRAGが提案されている。 ブートストラップの哲学はドメインフィニングとRAGモデルを同時に統合することである。
  論文  参考訳（メタデータ） (2024-05-12T09:48:28Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• A Cross-Attention Augmented Model for Event-Triggered Context-Aware Story Generation [28.046803293933213]
  生成したストーリーの関連性とコヒーレンスを高める新しいニューラルジェネレーションモデルであるEtriCAを導入する。 我々は、大規模書籍コーパスに知識向上のためのポストトレーニングフレームワーク(KeEtriCA)を採用。 その結果、自動測定では約5%が改善され、人間の評価では10%以上が改善された。
  論文  参考訳（メタデータ） (2023-11-19T08:54:47Z)
• Data-Centric Long-Tailed Image Recognition [49.90107582624604]
  ロングテールモデルは高品質なデータに対する強い需要を示している。 データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。 現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
  論文  参考訳（メタデータ） (2023-11-03T06:34:37Z)
• Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection [13.608076739368949]
  本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。 我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
  論文  参考訳（メタデータ） (2023-10-08T06:36:26Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。