論文の概要: Emergent Latent-State Computation under Stochastic Volatility

• arxiv url: http://arxiv.org/abs/2607.25459v1
• Date: Tue, 28 Jul 2026 08:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.779413
• Title: Emergent Latent-State Computation under Stochastic Volatility
• Title（参考訳）: 確率的ボラティリティ下における創発的潜在状態計算
• Authors: Xiaoyu Huang, Lulu Wang,
• Abstract要約: 本研究では, 雑音下, 部分的に観察された潜在力学を内部的に表現するモデルについて検討した。 アーキテクチャ、損失、出力ヘッド全体にわたって、我々は2段階の計算の証拠を見つけ出す。 これらの結果は、ボラティリティモデルが雑音の潜在力学と部分観測可能性の下での解釈可能性に有用なベンチマークを提供することを示唆している。
• 参考スコア（独自算出の注目度）: 3.8881341075549947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability has largely focused on language models and deterministic toy tasks. Much less is known about how sequence models internally represent latent stochastic dynamics under noisy, partially observed observations. We study this question in a controlled multivariate stochastic volatility setting, where models observe only returns while the ground-truth latent volatility state is known to the researcher. This setting provides a useful benchmark for mechanistic interpretability under partial observability: the latent state is hidden from the model but directly available for evaluation. Across architectures, losses, and output heads, we find evidence for a two-stage computation. Hidden representations encode substantial information about the next latent volatility state, and the output head maps this representation to squared return forecasts. Furthermore, in Transformers, latent-state decodability emerges at identifiable architectural stages whose location depends on the volatility period. In long-cycle regimes, this computation simplifies into an explicit latent-state filter consisting of a learned linear projection followed by $\ell^2$ normalization. Output-head replacement further shows that part of the degradation under noisy MSE training arises from readout misalignment rather than representation failure. These results suggest that stochastic volatility models provide a useful benchmark for mechanistic interpretability under noisy latent dynamics and partial observability.
• Abstract（参考訳）: 機械論的解釈可能性は主に言語モデルと決定論的おもちゃのタスクに焦点を当てている。 シークエンスモデルは、部分的に観察された雑音下での潜在確率力学を内部的にどのように表現するかについては、ほとんど分かっていない。 本研究は多変量確率的ボラティリティ設定において, モデルが回帰のみを観測し, 地中相対的ボラティリティ状態は研究者に知られている。 この設定は、部分的な可観測性の下での機械的解釈可能性のための有用なベンチマークを提供する。 アーキテクチャ、損失、出力ヘッド全体にわたって、我々は2段階の計算の証拠を見つけ出す。 隠れ表現は次の潜伏変動状態に関する実質的な情報を符号化し、出力ヘッドは、この表現を正方形リターン予測にマッピングする。 さらに、トランスフォーマーにおいて、潜在状態の陰極性は、不安定性周期に依存する位置が識別可能なアーキテクチャ段階で出現する。 長期サイクルでは、この計算は学習された線形射影と$\ell^2$正規化からなる明示的な潜在状態フィルタに単純化される。 出力ヘッド置換は、ノイズの多いMSEトレーニングにおける劣化の一部は、表現障害よりも読み出しミスアライメントから生じていることを示している。 これらの結果は、確率的ボラティリティモデルが、雑音の潜在力学と部分可観測性の下での機械論的解釈可能性のための有用なベンチマークを提供することを示唆している。

関連論文リスト

• One Step Closer to Ground Truth: A Multi-Scale Residual-Aware Representation Learning Pipeline for Predicting Time Series Data [6.704099492625706]
  本稿では,予測と残差学習を表現学習の異なる段階に明確に分離する2段階のモデル非依存フレームワークを提案する。 このパイプラインを仮説空間拡張として定式化することにより、我々のフレームワークは単一ステージアーキテクチャに固有の近似制限に対処する。
  論文  参考訳（メタデータ） (2026-06-09T10:31:54Z)
• Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting [64.2640656619583]
  時系列基礎モデル (TSFM) は, 大規模事前学習と検索強化予測により, ゼロショット予測性能が向上した。 本稿では時系列予測のための検索誘導不変動的分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-24T07:31:55Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• Entropy and Attention Dynamics in Small Language Models: A Trace-Level Structural Analysis on the TruthfulQA Benchmark [0.0]
  小型言語モデル(SLM)は、エッジデバイスや他のリソース制約のある設定に徐々にデプロイされている。 現在の評価手法は、内部モデルの振る舞いが出力にどのように影響するかを説明することなく、最終的な精度や幻覚率に依存している。 本研究では,TruthfulQAデータセットを用いて評価したSLMにおけるエントロピーとアテンションダイナミクスのトレースレベル解析を紹介する。
  論文  参考訳（メタデータ） (2026-04-04T04:35:20Z)
• Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory [0.0]
  この論文は、現代のディープラーニング、信頼性、効率性において、永続的で密接に関連する2つの課題に対処する。 層と入力間の隠れアクティベーションの固有値ダイナミクスを解析することにより、スペクトル統計学がモデル挙動にコンパクトで安定で解釈可能なレンズを提供することを示す。 このフレームワーク内では、最初のコントリビューションであるEigenTrackが、大規模言語と視覚言語モデルにおける幻覚とアウト・オブ・ディストリビューションの振る舞いをリアルタイムに検出する手法を導入した。 第二の貢献である RMT-KD は、ランダム行列理論知識蒸留によるディープネットワークの圧縮に対する原則的なアプローチを示す。
  論文  参考訳（メタデータ） (2026-02-25T19:11:56Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Abstain Mask Retain Core: Time Series Prediction by Adaptive Masking Loss with Representation Consistency [4.047219770183742]
  時系列予測はエネルギー管理や金融市場といった重要な領域において重要な役割を担っている。 本研究は, 履歴データを適切に切り詰めることによって予測精度を向上させるという, 直感に反する現象を明らかにする。 本稿では,適応的マスキング・ロス(Adaptive Masking Loss)と表現整合性(Representation Consistency)を提案する。
  論文  参考訳（メタデータ） (2025-10-22T19:23:53Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。