論文の概要: Implementation of a Metacognition Framework for Self-Awareness and Self-Regulation in Ensembles of LLMs
- arxiv url: http://arxiv.org/abs/2608.15400v1
- Date: Sat, 15 Aug 2026 20:10:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.288031
- Title: Implementation of a Metacognition Framework for Self-Awareness and Self-Regulation in Ensembles of LLMs
- Title（参考訳）: LLMの自己組織化と自己規制のためのメタ認知フレームワークの実装
- Abstract要約: 大きな言語モデル(LLM)は、自身の不確実性を評価したり、知識の衝突を検出したり、問題が専門知識を超えたことを認識したりするのに苦労したことで有名である。
我々は,これらの課題に対処するLLMのアンサンブルのためのメタ認知フレームワークを,明示的な監視機構と制御機構によって初めて実装した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) are notorious for struggling with assessing their own uncertainty, detecting knowledge conflicts, or recognizing when problems exceed their expertise; such limitations inevitably undermine reliability and trust in LLMs. In this paper, we present the first implementation of a metacognitive framework for ensembles of LLMs that addresses these challenges through explicit monitoring and control mechanisms. Our system computes a Metacognitive State Vector (MSV) quantifying self-awareness for monitoring across five dimensions derived from cognitive psychology: Emotional Response, Correctness Evaluation, Experiential Match, Conflicting Information, and Problem Importance. MSV values also provide self-regulation for control, automatically switching between System 1 (fast, single- or multi-node) and System 2 (deliberative, multi-node) processing based on query complexity. For System 2 execution, graph-theoretic algorithms control the assignment of specialized roles (Domain Expert, Critic, Evaluator, Synthesizer, and Generalist) to ensemble nodes according to their MSV-quantified metacognitive states. Our implementation allows users to explore how different query types trigger distinct processing modes. The Proof-of-Concept (PoC) demo showcases the framework with illustrative examples showing appropriate System 1/System 2 routing and helps visualize the metacognitive process via real-time radar charts and decision indicators. This PoC implementation demonstrates the feasibility of creating a framework for metacognitive self-awareness and self-regulation in LLM systems.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、自身の不確実性を評価したり、知識の衝突を検出したり、問題が専門知識を超えているかどうかを認識するのに苦労したことで有名である。
本稿では,LCMのアンサンブルのためのメタ認知フレームワークを初めて実装し,これらの課題を明示的なモニタリングと制御機構を通じて解決する。
本システムでは,認知心理学から派生した5次元の自己認識を定量化するメタ認知状態ベクトル(Metacognitive State Vector,MSV)を計算した。
MSV値は、クエリの複雑さに基づいたシステム1(高速、シングルノード、マルチノード)とシステム2(検討、マルチノード)の処理を自動的に切り替える、制御のための自己規制も提供する。
システム2の実行において、グラフ理論アルゴリズムは、MSV量子化メタ認知状態に応じてノードをアンサンブルするための特別な役割(ドメインエキスパート、批判者、評価者、合成者、ジェネリスト)の割り当てを制御する。
我々の実装では、ユーザが異なるクエリタイプが異なる処理モードをトリガーする方法を探ることができる。
Proof-of-Concept(PoC)デモでは、適切なSystem 1/System 2ルーティングを示す説明的な例でフレームワークをデモし、リアルタイムレーダーチャートと意思決定指標を通じてメタ認知プロセスの可視化を支援する。
このPoC実装は、LLMシステムにおけるメタ認知的自己認識と自己規制のためのフレームワークを作成する可能性を示している。
関連論文リスト
- Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs [60.80435138270317]
本稿では,メタ認知的フィードバックによる強化学習を忠実な校正問題に適用する。
実験により、RLMFは様々なタスクにおいて汎用的で最先端のFCを実現することが示された。
RLMFは標準のRLを最大63%上回り、モデルの性能限界を評価し表現する能力を高めている。
論文 参考訳（メタデータ） (2026-06-30T17:56:01Z) - Quantifiable Uncertainty: A Stochastic Consensus Multi-Agent RAG Framework for Robust Malware Detection [1.2183405753834562]
本稿では,マルウェア解析をセマンティックコード検索と確率的検証に分離するフレームワークMAGMAを提案する。
MAGMAは98.4%の検知率を示し,既存の解よりもかなり高い値を示した。
論文 参考訳（メタデータ） (2026-05-08T18:46:24Z) - A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms [49.66022971508878]
私たちは、推論はモジュラーコンポーネントからシステムの認知コアに高めるべきだと論じています。
応答性推論のトレードオフやソーシャルゲーム推論など,7つの中核的推論課題を導出し,体系化する。
我々は,LLMに基づく推論と,ミリ秒スケールで安全クリティカルな車両制御の要求との間の,高レイテンシ,熟考的特性の根本的かつ未解決な緊張関係を同定する。
論文 参考訳（メタデータ） (2026-03-11T07:40:53Z) - AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。
軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。
我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
論文 参考訳（メタデータ） (2026-02-18T14:55:35Z) - DarkPatterns-LLM: A Multi-Layer Benchmark for Detecting Manipulative and Harmful AI Behavior [0.0]
textbfDarkPatterns-LLMは,操作内容の詳細な評価を行うための総合的なベンチマークデータセットと診断フレームワークである。
本フレームワークでは,多階層検出(MGD),多スケールインテント分析(MSIAN),Threat Harmonization Protocol(THP),Deep Contextual Risk Alignment(DCRA)の4層解析パイプラインを実装している。
データセットには、インストラクション-レスポンスペアとエキスパートアノテーションを備えた401の厳密にキュレートされた例が含まれている。
論文 参考訳（メタデータ） (2025-12-27T05:05:46Z) - Fundamentals of Building Autonomous LLM Agents [64.39018305018904]
本稿では,大規模言語モデル(LLM)を用いたエージェントのアーキテクチャと実装手法について概説する。
この研究は、複雑なタスクを自動化し、人間の能力でパフォーマンスのギャップを埋めることのできる「アジェンティック」なLLMを開発するためのパターンを探求することを目的としている。
論文 参考訳（メタデータ） (2025-10-10T10:32:39Z) - Adversarial Testing in LLMs: Insights into Decision-Making Vulnerabilities [5.0778942095543576]
本稿では,大規模言語モデルの意思決定過程を体系的にストレステストする逆評価フレームワークを提案する。
我々は、GPT-3.5、GPT-4、Gemini-1.5、DeepSeek-V3など、最先端のLLMに適用する。
我々の研究は、モデル間で異なる行動パターンを強調し、信頼できるAIデプロイメントにおける適応性と公平性認識の重要性を強調した。
論文 参考訳（メタデータ） (2025-05-19T14:50:44Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳（メタデータ） (2025-04-12T01:27:49Z) - Boost, Disentangle, and Customize: A Robust System2-to-System1 Pipeline for Code Generation [58.799397354312596]
大規模言語モデル(LLM)は、様々な領域、特にシステム1タスクにおいて顕著な機能を示した。
System2-to-System1法に関する最近の研究が急増し、推論時間計算によるシステム2の推論知識が探索された。
本稿では,システム2タスクの代表的タスクであるコード生成に注目し,主な課題を2つ挙げる。
論文 参考訳（メタデータ） (2025-02-18T03:20:50Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。