論文の概要: Metacognitive Reasoning in Energy Based Models using Instance Based Learning Theory

• arxiv url: http://arxiv.org/abs/2610.00399v1
• Date: Wed, 30 Sep 2026 12:08:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.63421
• Title: Metacognitive Reasoning in Energy Based Models using Instance Based Learning Theory
• Title（参考訳）: インスタンスベース学習理論を用いたエネルギーモデルにおけるメタ認知推論
• Abstract要約: 本稿では,インスタンスベースの学習理論とエネルギーダイナミクスを用いたメタ認知推論のためのフレームワークを提案する。 このフレームワークは、EBMに割り当てられた計算作業の制御を可能にし、不確実性に基づいた推論作業に対するメタ認知的な制御を可能にする。
• 参考スコア（独自算出の注目度）: 4.881647290809968
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Metacognition involves reasoning about cognitive processes themselves. An example is in resource allocation where we choose how much time and effort to put into a reasoning task before we begin based on our confidence. Current Artificial Intelligence (AI) systems that rely on Large Language Models (LLMs) cannot estimate their uncertainty about an output without first responding, and cannot dynamically allocate resources to producing an output, making this type of metacognitive process difficult. A recently proposed alternative to classic transformer architectures that addresses these two concerns is the Energy Based Model (EBM) which allows for interpretable uncertainty modeling and dynamic allocation of compute resources. While EBMs can allow for control of these two processes, the actual metacognitive task of determining compute allocation based on uncertainty is not directly addressed. Instance-Based Learning Theory (IBLT) provides an approach to modeling human-like decisions from experience that has previously been applied to predicting human metacognitive reasoning. In this paper we introduce a framework for MEtacognitive Reasoning with Instance-based Learning Theory and Energy Dynamics (MERITED). Grounded in IBLT, this framework allows for control of the computational effort allocated in an EBM to allow for metacognitive control over reasoning effort based on uncertainty while remaining computationally efficient. This work has two main contributions, the training and open weight sharing of a 191M parameter reasoning EBM, and an implementation of the MERITED framework for dynamic compute allocation using an IBL model.
• Abstract（参考訳）: メタ認知は認知プロセス自体を推論する。 例えばリソース割り当てでは、信頼度に基づいて開始する前に、推論タスクにどれだけの時間と労力を投入するかを選択します。 大規模言語モデル(LLM)に依存している現在の人工知能(AI)システムは、最初に応答することなく出力に関する不確実性を推定することができず、出力を生成するリソースを動的に割り当てることができないため、この種のメタ認知プロセスは困難である。 この2つの問題に対処する古典的なトランスフォーマーアーキテクチャの代替として、Energy Based Model (EBM) が提案されている。 EBMはこれら2つのプロセスの制御を可能にするが、不確実性に基づいて計算割り当てを決定する実際のメタ認知タスクは直接的に対処されない。 インスタンスベースの学習理論(IBLT)は、人間のメタ認知的推論にこれまで適用されてきた経験から人間のような決定をモデル化するためのアプローチを提供する。 本稿では,Metacognitive Reasoning with Instance-based Learning Theory and Energy Dynamics (MERITED)を紹介する。 IBLTをベースとしたこのフレームワークは、EMMに割り当てられた計算作業の制御を可能にし、不確実性に基づいた推論作業のメタ認知的制御を可能にしながら、計算効率を保っている。 この研究には、191Mパラメータ推論ESMのトレーニングとオープンウェイト共有と、IBLモデルを用いた動的計算割り当てのためのMERITEDフレームワークの実装の2つの主な貢献がある。

関連論文リスト

• Information as Maximum-Caliber Deviation: A bridge between Integrated Information Theory and the Free Energy Principle [51.56484100374058]
  この研究は、情報が有限時間地平線上の制約付き最大曲率(MaxCal)パスアンサンブルから実現された力学の偏差$$$として定義されることを示唆している。 この定義の下では、IIT 3.0の中心となる原因/影響レパートリーは、MaxCalの変分原理から直接現れる。 情報$$は、付随する予測符号化モデルの下での予測誤差と同値である。
  論文  参考訳（メタデータ） (2026-05-03T07:22:55Z)
• FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation [13.855534865501369]
  小型言語モデル(SLM)は、その効率的で低レイテンシな推論のため、コスト感受性とリソース制限の設定に魅力的である。 本稿では,SLMに戦略的思考パターンを付加したモジュラー推論フレームワークであるFutureMindを提案する。
  論文  参考訳（メタデータ） (2026-02-01T13:26:04Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Towards Empowerment Gain through Causal Structure Learning in Model-Based RL [35.933469787075]
  本稿では,学習効率と制御性を向上させるための新しいフレームワークであるEmpowerment through Causal Learning (ECL)を提案する。 ECLは、まず、収集されたデータに基づいて環境の因果ダイナミクスモデルを訓練する。 そして、探索によって収集されたデータを同時に利用して、因果ダイナミクスモデルをより制御しやすいように更新する。
  論文  参考訳（メタデータ） (2025-02-14T10:59:09Z)
• On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
  大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。 本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:58:18Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。