論文の概要: Beyond Meta-Reasoning: Metacognitive Consolidation for Self-Improving LLM Reasoning
- arxiv url: http://arxiv.org/abs/2604.17399v1
- Date: Sun, 19 Apr 2026 12:02:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.506287
- Title: Beyond Meta-Reasoning: Metacognitive Consolidation for Self-Improving LLM Reasoning
- Title(参考訳): メタ推論を超えて:自己改善LDM推論のためのメタ認知統合
- Authors: Ziqing Zhuang, Linhai Zhang, Jiasheng Si, Deyu Zhou, Yulan He,
- Abstract要約: 大規模言語モデル(LLM)は強力な推論能力を示している。
さらなる改善に向けた有望な方向として、メタレアソン化に注目が移っている。
メタ認知的統合(Metacognitive Consolidation)は,メタ認知的体験を再利用可能な知識に集約する新しいフレームワークである。
- 参考スコア(独自算出の注目度): 42.534586884018076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated strong reasoning capabilities, and as existing approaches for enhancing LLM reasoning continue to mature, increasing attention has shifted toward meta-reasoning as a promising direction for further improvement. However, most existing meta-reasoning methods remain episodic: they focus on executing complex meta-reasoning routines within individual instances, but ignore the accumulation of reusable meta-reasoning skills across instances, leading to recurring failure modes and repeatedly high metacognitive effort. In this paper, we introduce Metacognitive Consolidation, a novel framework in which a model consolidates metacognitive experience from past reasoning episodes into reusable knowledge that improves future meta-reasoning. We instantiate this framework by structuring instance-level problem solving into distinct roles for reasoning, monitoring, and control to generate rich, attributable meta-level traces. These traces are then consolidated through a hierarchical, multi-timescale update mechanism that gradually forms evolving meta-knowledge. Experimental results demonstrate consistent performance gains across benchmarks and backbone models, and show that performance improves as metacognitive experience accumulates over time.
- Abstract(参考訳): 大規模言語モデル(LLM)は、強力な推論能力を示しており、LLM推論を強化する既存のアプローチが成熟を続けるにつれ、さらなる改善に向けた将来的な方向としてメタ推論へと注目が移りつつある。
個々のインスタンス内で複雑なメタ推論ルーチンを実行することに重点を置いているが、インスタンス全体で再利用可能なメタ推論スキルの蓄積を無視し、繰り返し発生する障害モードと、繰り返し発生するメタ認知の取り組みを無視する。
本稿では,メタ認知統合(Metacognitive Consolidation)について紹介する。メタ認知統合(Metacognitive Consolidation)は,モデルが過去の推論エピソードからメタ認知体験を,将来的なメタ推論を改善する再利用可能な知識に集約する新しいフレームワークである。
我々は、このフレームワークをインスタンスレベルの問題を推論、監視、制御の異なる役割に構造化して、リッチで帰属可能なメタレベルのトレースを生成することでインスタンス化する。
これらのトレースは、進化するメタ知識を徐々に形成する階層的なマルチタイム更新メカニズムによって統合される。
実験の結果,ベンチマークモデルとバックボーンモデル間で一貫した性能向上が示され,メタ認知経験が時間の経過とともに蓄積されるにつれて,性能が向上することが示された。
関連論文リスト
- Adapting Like Humans: A Metacognitive Agent with Test-time Reasoning [38.92106966820126]
近年のビジョン・ランゲージ・モデル(VLM)は、知覚的推論能力が強いが、テスト時に新しいタスクに遭遇する際には、効率よく適応するのに苦労することが多い。
対照的に、人間は記憶を伴うメタ認知モデルを活用し、新しい課題に直面したとき、メタ認知制御による継続的な戦略改善を可能にする。
メタ認知的自己更新(メタ認知的自己更新)により、メタ認知的テストタイム推論(MCTR)は、モデルにメタ認知的自己更新(メタ認知的自己更新)を通じて、テスト時間中に学習し、適応し、改善する能力を備えたフレームワークである。
論文 参考訳(メタデータ) (2025-11-28T15:15:47Z) - Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。
ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。
実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
論文 参考訳(メタデータ) (2025-03-16T00:25:13Z) - ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。
ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。
単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
論文 参考訳(メタデータ) (2025-03-12T16:05:31Z) - Understanding Benign Overfitting in Nested Meta Learning [44.08080315581763]
私たちは、ネストされたメタ学習と呼ばれる難易度の高いネストされた構造を持つメタ学習設定に焦点を当てます。
我々の理論は、ネストしたメタ学習タスクにおけるデータの不均一性、モデル適応、良性過剰適合の微妙な相互作用の理解に寄与する。
論文 参考訳(メタデータ) (2022-06-27T17:46:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。