論文の概要: Markovian Circuit Tracing for Transformer State Dynamic

• arxiv url: http://arxiv.org/abs/2605.20824v1
• Date: Wed, 20 May 2026 07:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.549673
• Title: Markovian Circuit Tracing for Transformer State Dynamic
• Title（参考訳）: 変圧器状態ダイナミクスのためのマルコフ回路追跡
• Authors: Abdullah X,
• Abstract要約: Markovian Circuit Tracing (MCT)は、トランスフォーマーのアクティベーションが粗い状態遷移構造を含むかどうかをテストするための診断パイプラインである。 このコントリビューションは、トランスフォーマー状態力学解釈可能性のための制御されたベンチマークと評価フレームワークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many sequence computations are easier to study as movement through internal states than as isolated local circuits. We introduce Markovian Circuit Tracing (MCT), a diagnostic pipeline for testing whether transformer activations contain coarse state-transition structure. The benchmark uses synthetic Hidden Markov Model (HMM) tasks where latent states, transition matrices, Bayesian belief vectors, Bayes-optimal predictions, and forced-state counterfactual targets are known exactly. Across six HMM families and three seeds per family, tiny causal transformers learn near-Bayes next-token predictors, with mean excess loss over Bayes of 0.0138. Residual activations contain partial Bayesian belief information in this controlled synthetic benchmark. State abstractions extracted from these activations recover coarse transition signal, strongest in persistent and lower-state regimes, and weaker in ambiguous-emission and six-state regimes. The clearest result comes from state forcing. Patching a recovered-state centroid reduces KL to the exact HMM counterfactual target from 0.1957 in the unpatched model to 0.0532 on average, beating wrong-state, mean-activation, random-activation, and shuffled-label controls. The contribution is a controlled benchmark and evaluation framework for transformer state-dynamics interpretability, with MCT as a simple reference pipeline
• Abstract（参考訳）: 多くのシーケンス計算は、孤立した局所回路よりも内部状態の運動として研究しやすい。 本稿では,変圧器アクティベーションが粗い状態遷移構造を含むか否かを診断するための診断パイプラインであるMarkovian Circuit Tracing(MCT)を紹介する。 このベンチマークでは、潜在状態、遷移行列、ベイズ的信念ベクトル、ベイズ最適予測、強制状態の反現実的ターゲットが正確に知られている合成隠れマルコフモデル(HMM)を用いている。 6つのHMMファミリーと1家族あたり3つの種のうち、小さな因果変換器はベイズ近くで次の予測器を学習し、ベイズの平均余剰損失は0.0138である。 残余の活性化は、この制御された合成ベンチマークにおける部分ベイズ的信念情報を含む。 これらのアクティベーションから抽出された状態抽象化は、粗い遷移シグナルを回復し、持続的および低次状態において最強であり、曖昧な放出状態と6つの状態状態において弱い。 最も明確な結果は、州の強制によるものです。 回復状態のセントロイドをパッチすることで、KLは正確なHMMの対物目標を0.1957から0.0532に減らし、間違った状態、平均活性化、ランダムアクティベーション、シャッフルラベル制御を破る。 このコントリビューションは、CTを単純な参照パイプラインとして、トランスフォーマー状態力学解釈可能性のための制御されたベンチマークおよび評価フレームワークである。

関連論文リスト

• Beyond Binary Success: A Diagnostic Meta-Evaluation Framework for Fine-Grained Manipulation [98.79811866787263]
  診断メタ評価フレームワークであるMetaFineを紹介する。 局所的な空間構造を保存できる視覚エンコーダの能力は,きめ細かな精度の鍵となるボトルネックである。 評価をランキングから診断にシフトすることで、MetaFineは、ベンチマークを実際の物理デキスタリティに基づく階層化された能力の修復のための実行可能なコンパスに変換する。
  論文  参考訳（メタデータ） (2026-05-19T15:25:13Z)
• Precision Tracked Transformer via Kalman Filtering, Kriging and Process Noise [11.579218102536762]
  Transformerは現代のAIの基礎的なビルディングブロックだが、不確実性の原則的扱いは提供していない EmphBayesian Filtering Transformer (BFT) の例を示す。 BFTは任意のトランスフォーマー層を無視可能なオーバーヘッドで置き換える。
  論文  参考訳（メタデータ） (2026-05-12T22:22:15Z)
• GSC-QEMit: A Telemetry-Driven Hierarchical Forecast-and-Bandit Framework for Adaptive Quantum Error Mitigation [2.3449366241547813]
  量子エラー軽減(QEM)は、短期量子デバイスから信頼性の高い結果を抽出するために不可欠である。 我々は,emphGSC-QEMitというテレメトリ駆動型,textbf-adaptive-forecast-banditフレームワークを紹介した。 我々は、Qiskit Aerでシミュレートされた非定常雑音条件下で、ベンチマーク回路ファミリ(GHZ, Quantum Fourier Transform, Grover Search)のGSC-QEMitを評価する。
  論文  参考訳（メタデータ） (2026-04-27T14:44:36Z)
• Residual Connections and the Causal Shift: Uncovering a Structural Misalignment in Transformers [9.617245548268437]
  大規模言語モデル(LLM)は、自動回帰変換器で実装された次世代の予測で訓練される。 残余接続は現在のトークンとアクティベーションを結び付け、監督は次のトークンをターゲットとします。 固定層介入や学習可能なゲーティング機構として実装された残差減衰に基づく軽量残差経路緩和法を提案する。
  論文  参考訳（メタデータ） (2026-02-16T14:04:42Z)
• From Evaluation to Design: Using Potential Energy Surface Smoothness Metrics to Guide Machine Learning Interatomic Potential Architectures [12.68400434984463]
  MLIPは量子ポテンシャルエネルギー表面の物理的滑らかさを再現することができない。 マイクロカノニカル分子動力学のような既存の評価は計算に高価であり、主に近平衡状態を研究する。 MLIPの評価基準を改善するためにBSCT(Band Smoothness Characterization Test)を導入する。
  論文  参考訳（メタデータ） (2026-02-04T18:50:10Z)
• Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
  本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。 我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
  論文  参考訳（メタデータ） (2025-12-01T23:06:56Z)
• User-Based Sequential Modeling with Transformer Encoders for Insider Threat Detection [0.005755004576310333]
  インサイダー脅威検出は、悪意のあるアクターの認定状態のために、ユニークな課題を提示する。 既存の機械学習メソッドは、ユーザアクティビティを独立したイベントとして扱うため、ユーザの振る舞いにおけるシーケンシャルな依存関係を活用できない。 本稿では,ユーザベースシーケンス法(UBS)手法を提案し,CERTインサイダー脅威データセットを深い逐次モデリングに適した構造化時間列に変換する。
  論文  参考訳（メタデータ） (2025-06-30T00:47:31Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization [88.91872713134342]
  本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。 提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
  論文  参考訳（メタデータ） (2021-02-04T05:09:18Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。