論文の概要: Cognitive Load Traces as Symbolic and Visual Accounts of Deep Model Cognition
- arxiv url: http://arxiv.org/abs/2510.15980v1
- Date: Mon, 13 Oct 2025 09:04:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:38.743084
- Title: Cognitive Load Traces as Symbolic and Visual Accounts of Deep Model Cognition
- Title（参考訳）: 深部モデル認知の象徴的・視覚的記述としての認知的負荷トレース
- Authors: Dong Liu, Yanxuan Yu,
- Abstract要約: 深層モデルの中間レベル解釈可能性フレームワークとしてtextbfCognitive Load Traces (CLTs) を提案する。
CLTは、モデル内部資源割り当てを定量化する象徴的、時間的に変化する関数として定義される。
推論と計画ベンチマークの実験は、CLTがエラー発生を予測し、認知戦略を明らかにし、負荷誘導による介入を可能にすることを示している。
- 参考スコア（独自算出の注目度）: 5.216774377033164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose \textbf{Cognitive Load Traces} (CLTs) as a mid-level interpretability framework for deep models, inspired by Cognitive Load Theory in human cognition. CLTs are defined as symbolic, temporally varying functions that quantify model-internal resource allocation. Formally, we represent CLTs as a three-component stochastic process $(\mathrm{IL}_t, \mathrm{EL}_t, \mathrm{GL}_t)$, corresponding to \emph{Intrinsic}, \emph{Extraneous}, and \emph{Germane} load. Each component is instantiated through measurable proxies such as attention entropy, KV-cache miss ratio, representation dispersion, and decoding stability. We propose both symbolic formulations and visualization methods (load curves, simplex diagrams) that enable interpretable analysis of reasoning dynamics. Experiments on reasoning and planning benchmarks show that CLTs predict error-onset, reveal cognitive strategies, and enable load-guided interventions that improve reasoning efficiency by 15-30\% while maintaining accuracy.
- Abstract（参考訳）: 本研究では,人間の認知における認知的負荷理論にインスパイアされた,深層モデルの中間レベル解釈可能性フレームワークとして,‘textbf{Cognitive Load Traces}(CLTs)’を提案する。
CLTは、モデル内部資源割り当てを定量化する象徴的、時間的に変化する関数として定義される。
形式的には、CLTを3成分確率過程 $(\mathrm{IL}_t, \mathrm{EL}_t, \mathrm{GL}_t)$ として表現し、 \emph{Intrinsic}, \emph{Extraneous}, \emph{Germane} の負荷に対応する。
各コンポーネントは、注目エントロピー、KV-キャッシュミス比、表現分散、復号安定性などの測定可能なプロキシを介してインスタンス化される。
推論力学の解釈可能な解析を可能にするシンボル定式化法と可視化法(負荷曲線, 単純図形)の両方を提案する。
推論と計画ベンチマークの実験は、CLTがエラー発生を予測し、認知戦略を明らかにし、精度を維持しながら推論効率を15～30倍改善する負荷誘導的介入を可能にすることを示している。
関連論文リスト
- Two Birds with One Stone: Enhancing Uncertainty Quantification and Interpretability with Graph Functional Neural Process [27.760002432327962]
グラフニューラルネットワーク(GNN)は、グラフデータに強力なツールである。
しかし、それらの予測は誤校正され、解釈性に欠ける。
本稿では,新しい不確実性と解釈可能なグラフ分類モデルを提案する。
論文 参考訳（メタデータ） (2025-08-23T17:48:05Z) - A Markov Categorical Framework for Language Modeling [9.910562011343009]
自己回帰言語モデルは、優れたパフォーマンスを達成するが、内部メカニズム、訓練が表現をどのように形作り、複雑な振る舞いを可能にするかを説明する統一理論は、いまだ解明されていない。
本稿では,マルコフカテゴリーの言語を用いた情報処理段階の合成として,単一ステップ生成過程をモデル化する新しい分析フレームワークを提案する。
この研究は、モデルを通して情報がどのように流れ、訓練対象が内部形状をどう形成するかを理解するための強力な新しいレンズを提供する。
論文 参考訳（メタデータ） (2025-07-25T13:14:03Z) - A Theory of Inference Compute Scaling: Reasoning through Directed Stochastic Skill Search [15.387256204743407]
大規模言語モデル(LLM)は、訓練と配備の間にかなりの計算量、エネルギー、財務資源を必要とする。
推論コストは、今やリソース全体の負担の重要かつ増大する要素である。
本稿では,学習したスキルグラフ上での推論を表現力として表現する一般的なフレームワークである有向スキルサーチ(DS3)を紹介する。
論文 参考訳（メタデータ） (2025-06-10T14:47:48Z) - Token Signature: Predicting Chain-of-Thought Gains with Token Decoding Feature in Large Language Models [9.282278040339138]
CoT(Chain-of-Thought)技術は、複雑な推論タスクにおける大規模言語モデル(LLM)の性能向上に有効であることが証明されている。
トークン確率分布の単調性はCoT推論により得られる利得と相関する可能性があることを予備観測する。
トークン確率分布に基づく2つの指標を提案し,異なるタスク間でCoTの有効性を評価する。
論文 参考訳（メタデータ） (2025-06-06T11:53:27Z) - Dynamic Programming Techniques for Enhancing Cognitive Representation in Knowledge Tracing [125.75923987618977]
認知表現動的プログラミングに基づく知識追跡(CRDP-KT)モデルを提案する。
質問の難易度とそれらの間の性能間隔に基づいて認知表現を最適化する動的プログラミングアルゴリズムである。
これは、その後のモデルトレーニングのためにより正確で体系的な入力機能を提供し、それによって認知状態のシミュレーションにおける歪みを最小限にする。
論文 参考訳（メタデータ） (2025-06-03T14:44:48Z) - The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think [81.38614558541772]
本稿では,モデル推論の分析とステアリングのためのフレームワークであるCoT Encyclopediaを紹介する。
本手法はモデル生成CoTから多種多様な推論基準を自動的に抽出する。
このフレームワークは既存の手法よりも解釈可能で包括的分析が可能であることを示す。
論文 参考訳（メタデータ） (2025-05-15T11:31:02Z) - Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。
我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。
次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
論文 参考訳（メタデータ） (2025-04-04T17:57:22Z) - Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。
帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。
本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。
第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
論文 参考訳（メタデータ） (2024-08-03T13:37:40Z) - Intensity Profile Projection: A Framework for Continuous-Time
Representation Learning for Dynamic Networks [50.2033914945157]
本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。
このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。
さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
論文 参考訳（メタデータ） (2023-06-09T15:38:25Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2021-12-15T01:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。