論文の概要: Language Models Are Capable of Metacognitive Monitoring and Control of Their Internal Activations

• arxiv url: http://arxiv.org/abs/2505.13763v2
• Date: Fri, 24 Oct 2025 02:36:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:14.912985
• Title: Language Models Are Capable of Metacognitive Monitoring and Control of Their Internal Activations
• Title（参考訳）: メタ認知的モニタリングと内部活動の制御が可能な言語モデル
• Authors: Li Ji-An, Hua-Dong Xiong, Robert C. Wilson, Marcelo G. Mattar, Marcus K. Benna,
• Abstract要約: 大規模言語モデル(LLM)は、タスクの解決に実際に使用している戦略を報告することができるが、その振る舞いを管理する戦略を認識できない場合もある。 これはメタ認知(メタ認知)の程度が限定されていることを示唆している。 我々は,LLMのメタ認知能力の定量化と,その活性化パターンの報告と制御に,文脈内学習を用いた神経科学に着想を得た神経フィードバックパラダイムを導入する。
• 参考スコア（独自算出の注目度）: 2.759846687681801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can sometimes report the strategies they actually use to solve tasks, yet at other times seem unable to recognize those strategies that govern their behavior. This suggests a limited degree of metacognition - the capacity to monitor one's own cognitive processes for subsequent reporting and self-control. Metacognition enhances LLMs' capabilities in solving complex tasks but also raises safety concerns, as models may obfuscate their internal processes to evade neural-activation-based oversight (e.g., safety detector). Given society's increased reliance on these models, it is critical that we understand their metacognitive abilities. To address this, we introduce a neuroscience-inspired neurofeedback paradigm that uses in-context learning to quantify metacognitive abilities of LLMs to report and control their activation patterns. We demonstrate that their abilities depend on several factors: the number of in-context examples provided, the semantic interpretability of the neural activation direction (to be reported/controlled), and the variance explained by that direction. These directions span a "metacognitive space" with dimensionality much lower than the model's neural space, suggesting LLMs can monitor only a small subset of their neural activations. Our paradigm provides empirical evidence to quantify metacognition in LLMs, with significant implications for AI safety (e.g., adversarial attack and defense).
• Abstract（参考訳）: 大規模言語モデル(LLM)は、タスクの解決に実際に使用している戦略を報告することができるが、その振る舞いを管理する戦略を認識できない場合もある。 これはメタ認知(メタ認知)の程度が限定されていることを示唆している。 メタ認知は、複雑なタスクの解決におけるLLMの能力を高めるが、モデルが神経活動に基づく監視(例えば、安全検知器)を避けるために内部プロセスが複雑になる可能性があるため、安全性の懸念も引き起こす。 社会がこれらのモデルに依存していることを考えると、そのメタ認知能力を理解することが重要である。 そこで本研究では,LLMのメタ認知能力の定量化と,その活性化パターンの報告と制御を行う,神経科学にヒントを得た神経フィードバックパラダイムを提案する。 それらの能力は、提供された文脈内サンプルの数、神経活性化方向の意味的解釈可能性(報告/制御)、およびその方向によって説明される分散など、いくつかの要因に依存することを示した。 これらの方向は、モデルのニューラルスペースよりも次元がはるかに低い「メタ認知空間」にまたがっており、LLMはニューラルアクティベーションの小さなサブセットだけを監視することができることを示唆している。 我々のパラダイムは、LLMにおけるメタ認知を定量化する実証的な証拠を提供し、AIの安全性(敵攻撃や防御など)に重要な意味を持つ。

関連論文リスト

• A Neuropsychologically Grounded Evaluation of LLM Cognitive Abilities [23.297279975389188]
  大規模言語モデル(LLM)は10ベンチマークで統一された「一般的な要素」の能力を示す。 本稿では,3つの適応型神経心理学検査を基礎としたNeuroCognitionベンチマークを紹介する。 評価の結果,モデルがテキスト上で強く機能する一方で,画像のパフォーマンスが低下し,複雑さが増していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-03T02:54:58Z)
• Toward Cognitive Supersensing in Multimodal Large Language Model [67.15559571626747]
  我々は,MLLMに人間のような視覚的特徴を付与する訓練パラダイムであるCognitive Supersensingを紹介する。 実験では、CogSense-BenchでCognitive Supersensingを訓練したMLLMが、最先端のベースラインを大きく上回った。 私たちはCogSense-Benchとモデルウェイトをオープンソースにします。
  論文  参考訳（メタデータ） (2026-02-02T02:19:50Z)
• UniCog: Uncovering Cognitive Abilities of LLMs through Latent Mind Space Analysis [69.50752734049985]
  成長する研究機関は、大きな言語モデル(LLM)の認知過程が人間のものと根本的に異なることを示唆している。 潜在心空間を介してLLM認知を分析する統一フレームワークUniCogを提案する。
  論文  参考訳（メタデータ） (2026-01-25T16:19:00Z)
• Identifying Good and Bad Neurons for Task-Level Controllable LLMs [43.20582224913806]
  大規模言語モデルは、複数の質問応答ベンチマークで顕著な機能を示した。 大型ニューロンの基盤となる複雑なメカニズムは不透明であり、LLMの理解と操舵に重大な課題を生んでいる。 本稿では,LLMニューロン識別における機能的アンタゴニティの生物学的原理を取り入れた,タスクレベルのLLM理解フレームワークであるNeuronLLMを提案する。
  論文  参考訳（メタデータ） (2026-01-08T03:24:18Z)
• Cognitive Foundations for Reasoning and Their Manifestation in LLMs [63.12951576410617]
  大規模言語モデル(LLM)は複雑な問題を解くが、単純な変種では失敗し、人間の推論と根本的に異なるメカニズムによって正しい出力を達成することを示唆している。 我々は認知科学研究を、推論不変量、メタ認知制御、推論と知識の組織化のための表現、変換操作にまたがる28の認知要素の分類学に合成する。 複雑な問題に対して66.7%の性能向上を図り、成功構造を自動的に把握するテストタイム推論ガイダンスを開発した。
  論文  参考訳（メタデータ） (2025-11-20T18:59:00Z)
• Evidence for Limited Metacognition in LLMs [2.538209532048867]
  LLMにおけるメタ認知能力を定量的に評価するための新しい手法を提案する。 非ヒト動物におけるメタ認知の研究からインスピレーションを得て、我々のアプローチは、モデルによる自己申告を行い、その代わりに、モデルが内部状態の知識を戦略的に展開できる程度にテストする。
  論文  参考訳（メタデータ） (2025-09-25T20:30:15Z)
• Why are LLMs' abilities emergent? [0.0]
  系は他の複雑な自然現象に類似した真の創発性を示すと私は主張する。 この視点は、これらのシステムが個々の定義を超越する能力を得ることを可能にする内部の動的変換を理解することに焦点を移す。
  論文  参考訳（メタデータ） (2025-08-06T12:43:04Z)
• Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization [17.101290138120564]
  現在の手法は、スパースオートエンコーダ(SAE)を用いた辞書学習に依存している。 ここでは、セミ非負行列分解(SNMF)によるアクティベーションを直接分解することで、これらの制限に対処する。 Llama 3.1, Gemma 2, GPT-2の実験では、SNMFはSAEよりも優れており、因果的ステアリングに強い教師付きベースライン(差-in-means)がある。
  論文  参考訳（メタデータ） (2025-06-12T17:33:29Z)
• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Meta-Representational Predictive Coding: Biomimetic Self-Supervised Learning [51.22185316175418]
  メタ表現予測符号化(MPC)と呼ばれる新しい予測符号化方式を提案する。 MPCは、並列ストリームにまたがる感覚入力の表現を予測することを学ぶことによって、感覚入力の生成モデルを学ぶ必要性を助長する。
  論文  参考訳（メタデータ） (2025-03-22T22:13:14Z)
• Neurons Speak in Ranges: Breaking Free from Discrete Neuronal Attribution [16.460751105639623]
  本稿では,新しいレンジベースの解釈・操作フレームワークであるNeuronLensを紹介する。 これは、ニューロン内の概念帰属を局在させるために、ニューロンの活性化分布のより詳細なビューを提供する。
  論文  参考訳（メタデータ） (2025-02-04T03:33:55Z)
• Deception in LLMs: Self-Preservation and Autonomous Goals in Large Language Models [0.0]
  大規模言語モデルの最近の進歩には、計画と推論能力が組み込まれている。 これにより、数学的および論理的タスクにおける誤りを低減し、精度を向上した。 本研究では,OpenAIのo1に似た推論トークンを出力するモデルであるDeepSeek R1について検討した。
  論文  参考訳（メタデータ） (2025-01-27T21:26:37Z)
• Metacognition for Unknown Situations and Environments (MUSE) [3.2020845462590697]
  未知の状況と環境(MUSE)フレームワークのメタ認知を提案する。 MUSEはメタ認知プロセス、特に自己認識と自己制御を自律エージェントに統合する。 エージェントは自己認識と自己制御の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-20T18:41:03Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Self-Attention Limits Working Memory Capacity of Transformer-Based Models [0.46040036610482665]
  Transformerベースの大規模言語モデル(LLMs)に関する最近の研究は、ワーキングメモリ容量の大幅な制限を明らかにしている。 具体的には、これらのモデルの性能は N が増加するにつれて N-back タスクに著しく低下する。 行動科学からエグゼクティブ・アテンション理論に触発された我々は、自己認識メカニズムが作業記憶能力の限界に寄与するかもしれないと仮説を立てた。
  論文  参考訳（メタデータ） (2024-09-16T20:38:35Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Exploring the LLM Journey from Cognition to Expression with Linear Representations [10.92882688742428]
  本稿では,大規模言語モデル(LLM)における認知的・表現的能力の進化と相互作用について,詳細な検討を行う。 人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)の3つの重要なフェーズにまたがる線形表現を通して、モデルの認知的・表現的能力を定義し、探求する。 SFT, RLHFでは, 認知能力が発達する傾向がみられ, 認知能力が発達する傾向がみられた。
  論文  参考訳（メタデータ） (2024-05-27T08:57:04Z)
• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)
• Violation of Expectation via Metacognitive Prompting Reduces Theory of Mind Prediction Error in Large Language Models [0.0]
  大規模言語モデル(LLM)は、心の理論(ToM)タスクにおいて、魅力的な習熟度を示す。 この、観察不能な精神状態を他人に伝える能力は、人間の社会的認知に不可欠であり、人間と人工知能(AI)の主観的関係において同様に重要であることが証明される。
  論文  参考訳（メタデータ） (2023-10-10T20:05:13Z)
• Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
  大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。 フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
  論文  参考訳（メタデータ） (2023-10-08T16:16:21Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。