論文の概要: Metacognitive Retrieval-Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2402.11626v1
• Date: Sun, 18 Feb 2024 15:41:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:53:38.367349
• Title: Metacognitive Retrieval-Augmented Large Language Models
• Title（参考訳）: メタ認知検索型大規模言語モデル
• Authors: Yujia Zhou, Zheng Liu, Jiajie Jin, Jian-Yun Nie, Zhicheng Dou
• Abstract要約: 本稿ではメタRAG(MetaRAG)について紹介する。 これを統合することで、MetaRAGはモデルが応答戦略を監視し、評価し、計画することを可能にする。 経験的評価は、MetaRAGが既存の手法よりも著しく優れていることを示している。
• 参考スコア（独自算出の注目度）: 43.57020180706832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation have become central in natural language processing due to their efficacy in generating factual content. While traditional methods employ single-time retrieval, more recent approaches have shifted towards multi-time retrieval for multi-hop reasoning tasks. However, these strategies are bound by predefined reasoning steps, potentially leading to inaccuracies in response generation. This paper introduces MetaRAG, an approach that combines the retrieval-augmented generation process with metacognition. Drawing from cognitive psychology, metacognition allows an entity to self-reflect and critically evaluate its cognitive processes. By integrating this, MetaRAG enables the model to monitor, evaluate, and plan its response strategies, enhancing its introspective reasoning abilities. Through a three-step metacognitive regulation pipeline, the model can identify inadequacies in initial cognitive responses and fixes them. Empirical evaluations show that MetaRAG significantly outperforms existing methods.
• Abstract（参考訳）: 検索増強世代は、事実コンテンツの生成に効果があるため、自然言語処理の中心となっている。 従来の方法では単一時間検索を用いるが、近年ではマルチホップ推論タスクのマルチ時間検索に移行している。 しかし、これらの戦略は事前定義された推論ステップに縛られ、応答生成の不正確性に繋がる可能性がある。 本稿では,検索型生成プロセスとメタ認知を組み合わせた手法であるmetaragを提案する。 認知心理学から引き出すと、メタ認知は個人が自己反射し、その認知過程を批判的に評価することを可能にする。 これを統合することで、MetaRAGはモデルが応答戦略を監視し、評価し、計画し、イントロスペクティブ推論能力を高めることができる。 3段階のメタ認知制御パイプラインを通じて、モデルは初期認知反応の欠如を識別し、修正することができる。 経験的評価は、MetaRAGが既存の手法よりも著しく優れていることを示している。

関連論文リスト

• Unlocking Structured Thinking in Language Models with Cognitive Prompting [0.0]
  本研究では,大規模言語モデルにおける問題解決を導く新しい手法として認知的プロンプトを提案する。 メタのLLaMAモデルにおいて認知的プロンプトの有効性を評価する。
  論文  参考訳（メタデータ） (2024-10-03T19:53:47Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models [50.97705264224828]
  大規模マルチモーダルモデルに反現実的思考を組み込む新しい手法である反現実的インセプションを提案する。 我々は、より広い文脈のシーン理解にまたがる応答をモデルが関与し、生成することを目指している。 オープンソースモデルとプロプライエタリモデルの両方を含む様々なLMMの包括的分析は、反事実的思考が幻覚を著しく減少させることを裏付ける。
  論文  参考訳（メタデータ） (2024-03-20T11:27:20Z)
• CogGPT: Unleashing the Power of Cognitive Dynamics on Large Language Models [24.079412787914993]
  本稿では,大規模言語モデル(LLM)の認知力学の概念を提案し,縦断的研究のインスピレーションを得て,それに対応する課題を提案する。 この課題に向けて,LLMの認知力学を評価し,参加者による調査を通じて検証する新しいベンチマークであるCogBenchを開発した。 本稿では,生涯の認知力学の強化を目的とした,革新的な反復的認知機構を特徴とするタスク用CogGPTを紹介する。
  論文  参考訳（メタデータ） (2024-01-06T03:59:59Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Large Language Models for Information Retrieval: A Survey [58.30439850203101]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。