論文の概要: CoT-RAG: Integrating Chain of Thought and Retrieval-Augmented Generation to Enhance Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2504.13534v1
- Date: Fri, 18 Apr 2025 07:55:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-28 16:48:54.406366
- Title: CoT-RAG: Integrating Chain of Thought and Retrieval-Augmented Generation to Enhance Reasoning in Large Language Models
- Title（参考訳）: CoT-RAG:大規模言語モデルにおける推論強化のための思考と検索の連鎖の統合
- Authors: Feiyang Li, Peng Fang, Zhan Shi, Arijit Khan, Fang Wang, Dan Feng, Weihao Wang, Xin Zhang, Yongjian Cui,
- Abstract要約: CoT-RAGは3つの重要な設計を持つ新しい推論フレームワークである。
知識グラフ駆動のCoT生成、学習可能な知識ケース対応RAG、擬似プログラム実行などを備えている。
最先端の方法と比較すると、CoT-RAGは4.0%から23.0%の精度で大幅に改善されている。
- 参考スコア（独自算出の注目度）: 14.784841713647682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While chain-of-thought (CoT) reasoning improves the performance of large language models (LLMs) in complex tasks, it still has two main challenges: the low reliability of relying solely on LLMs to generate reasoning chains and the interference of natural language reasoning chains on the inference logic of LLMs. To address these issues, we propose CoT-RAG, a novel reasoning framework with three key designs: (i) Knowledge Graph-driven CoT Generation, featuring knowledge graphs to modulate reasoning chain generation of LLMs, thereby enhancing reasoning credibility; (ii) Learnable Knowledge Case-aware RAG, which incorporates retrieval-augmented generation (RAG) into knowledge graphs to retrieve relevant sub-cases and sub-descriptions, providing LLMs with learnable information; (iii) Pseudo-Program Prompting Execution, which encourages LLMs to execute reasoning tasks in pseudo-programs with greater logical rigor. We conduct a comprehensive evaluation on nine public datasets, covering three reasoning problems. Compared with the-state-of-the-art methods, CoT-RAG exhibits a significant accuracy improvement, ranging from 4.0% to 23.0%. Furthermore, testing on four domain-specific datasets, CoT-RAG shows remarkable accuracy and efficient execution, highlighting its strong practical applicability and scalability.
- Abstract（参考訳）: CoT推論は、複雑なタスクにおける大規模言語モデル(LLM)の性能を改善するが、LLMにのみ依存して推論チェーンを生成する信頼性の低いことと、LLMの推論ロジックに対する自然言語推論チェーンの干渉という2つの大きな課題がある。
これらの問題に対処するため、我々は3つの重要な設計を持つ新しい推論フレームワークであるCoT-RAGを提案する。
一 知識グラフ駆動のCoT生成であって、LCMの推論連鎖生成を調整し、推論信頼性を高めるための知識グラフを特徴とする。
2 検索拡張生成(RAG)を知識グラフに組み込んだ学習可能な知識事例認識RAGにより、関連するサブケース及びサブ記述を検索し、学習可能な情報を提供する。
3) Pseudo-Program Prompting Execution は LLM に論理的厳密な擬似プログラムにおける推論タスクの実行を促す。
我々は9つの公開データセットに対して総合的な評価を行い、3つの理由付け問題をカバーする。
最先端の方法と比較すると、CoT-RAGは4.0%から23.0%の精度で大幅に改善されている。
さらに、ドメイン固有の4つのデータセットをテストすることで、CoT-RAGは驚くほどの精度と効率的な実行を示し、その強力な実用性とスケーラビリティを強調している。
関連論文リスト
- Human Cognition Inspired RAG with Knowledge Graph for Complex Problem Solving [32.293348354802504]
大規模言語モデル(LLM)は、様々な領域にわたる変換ポテンシャルを実証している。
検索・拡張生成(RAG)はLLMの精度を高めるための有望なソリューションとして浮上している。
我々は認知にインスパイアされたグラフベースのRAGフレームワークであるCogGRAGを提案する。
論文 参考訳（メタデータ） (2025-03-09T11:50:39Z) - Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation [24.081573908824353]
一階述語論理(FOL)推論はインテリジェントシステムにおいて重要である。
既存のベンチマークは、広範囲の人間のアノテーションや手作りテンプレートに依存していることが多い。
本稿では,大言語モデルの生成強度を記号型プローサの厳密性と精度で相乗化するProverGenという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-10T15:31:54Z) - Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。
実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文 参考訳（メタデータ） (2025-01-08T18:31:16Z) - Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models [62.12031550252253]
本稿では,関係推論に対処するための新しいフレームワークであるPath-of-Thoughts(PoT)を提案する。
PoTは、問題コンテキスト内の重要なエンティティ、関係、属性を識別するタスクに依存しないグラフを効率的に抽出する。
PoTは、提案された質問に対応するグラフ内の関連する推論連鎖を特定し、潜在的な答えの推論を容易にする。
論文 参考訳（メタデータ） (2024-12-23T20:27:12Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T05:21:48Z) - Strategic Chain-of-Thought: Guiding Accurate Reasoning in LLMs through Strategy Elicitation [16.350747493026432]
CoT(Chain-of-Thought)パラダイムは,大規模言語モデル(LLM)の推論能力向上のための重要なアプローチとして登場した。
中間的推論ステップを生成する前に戦略的知識を統合することでLCM性能を向上するための textbfStrategic Chain-of-Thought (SCoT) を提案する。
SCoTは1つのプロンプトの中で2段階のアプローチを採用し、まず効果的な問題解決戦略を導き、次に高品質なCoTパスと最終回答の生成を導くのに使用される。
論文 参考訳（メタデータ） (2024-09-05T06:28:05Z) - Improving Retrieval Augmented Language Model with Self-Reasoning [20.715106330314605]
本稿では,ALMの信頼性とトレーサビリティ向上を目的とした,新たな自己推論フレームワークを提案する。
このフレームワークは、関連性を認識したプロセス、エビデンスを認識した選択プロセス、軌跡解析プロセスの3つのプロセスで自己推論軌道を構築することを含む。
提案手法の優位性を示すため,4つの公開データセットにまたがるフレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-07-29T09:05:10Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - Dual Reasoning: A GNN-LLM Collaborative Framework for Knowledge Graph Question Answering [38.31983923708175]
我々は、知識グラフ(KGs)の明示的推論のために、グラフニューラルネットワーク(GNN)に基づく外部システムを統合する新しいフレームワークであるDual-Reasoningを提案する。
我々は,DualRが高効率と解釈性を維持しつつ,最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2024-06-03T09:38:28Z) - CoT-Driven Framework for Short Text Classification: Enhancing and Transferring Capabilities from Large to Smaller Model [5.331916925505735]
短いテキスト分類(STC)は、現代デジタルプラットフォームで普及している短いが実質的な内容の処理と理解に不可欠である。
本稿では, STCタスクを4つのステップに分割するSSE-CoT法を提案する。
次に、CDMT(CoT-Driven Multi-Task Learning)フレームワークを導入し、これらの機能をより小さなモデルに拡張します。
論文 参考訳（メタデータ） (2024-01-06T08:28:20Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳（メタデータ） (2023-05-23T06:13:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。