論文の概要: Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.11622v1
• Date: Sun, 11 Jan 2026 21:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.216104
• Title: Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける機能レジームの動的システム解析
• Authors: Hassan Ugail, Newton Howard,
• Abstract要約: 大規模言語モデルは高次元内部力学を用いてテキスト生成を行う。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 本稿では,自己回帰生成中のアクティベーション時系列から計算した複合動的計量について論じる。
• 参考スコア（独自算出の注目度）: 0.8694591156258423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models perform text generation through high-dimensional internal dynamics, yet the temporal organisation of these dynamics remains poorly understood. Most interpretability approaches emphasise static representations or causal interventions, leaving temporal structure largely unexplored. Drawing on neuroscience, where temporal integration and metastability are core markers of neural organisation, we adapt these concepts to transformer models and discuss a composite dynamical metric, computed from activation time-series during autoregressive generation. We evaluate this metric in GPT-2-medium across five conditions: structured reasoning, forced repetition, high-temperature noisy sampling, attention-head pruning, and weight-noise injection. Structured reasoning consistently exhibits elevated metric relative to repetitive, noisy, and perturbed regimes, with statistically significant differences confirmed by one-way ANOVA and large effect sizes in key comparisons. These results are robust to layer selection, channel subsampling, and random seeds. Our findings demonstrate that neuroscience-inspired dynamical metrics can reliably characterise differences in computational organisation across functional regimes in large language models. We stress that the proposed metric captures formal dynamical properties and does not imply subjective experience.
• Abstract（参考訳）: 大規模言語モデルは高次元内部力学を用いてテキスト生成を行うが、これらの力学の時間的構造はいまだに理解されていない。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 神経科学に基づいて、時間的統合と転移性が神経組織の中核マーカーであり、これらの概念をトランスフォーマーモデルに適応させ、自己回帰生成中のアクティベーション時系列から計算された複合力学メトリックについて議論する。 我々は, GPT-2-mediumにおいて, 構造化推論, 強制繰り返し, 高温雑音サンプリング, 注目プルーニング, 重量ノイズ注入の5つの条件で測定した。 構造的推論は、一方向のANOVAによる統計的に有意な差と、鍵の比較において大きな効果の大きさで、反復的、雑音的、摂動的な状態に対して常に高い測定値を示す。 これらの結果は、層選択、チャネルサブサンプリング、ランダムシードに対して堅牢である。 この結果から,神経科学にヒントを得た動的指標が,大規模言語モデルにおける機能的体制間の計算組織の違いを確実に特徴付けることが示唆された。 提案した計量は形式的力学特性を捉えており、主観的経験を含まないことを強調する。

関連論文リスト

• Temporal Complexity and Self-Organization in an Exponential Dense Associative Memory Model [0.0]
  時間複雑度(TC)は、秩序と障害の間の断続的な遷移イベントによって複雑なシステムを特徴づけるフレームワークである。 以上の結果から,SEDAMモデルでは,非自明な時間的相関とスケールフリーな挙動を特徴とする複雑な断続的な状態がみられた。 本研究は, 人工神経と生体神経の学習と情報処理を理解するための補完的枠組みとして, TCの意義を強調した。
  論文  参考訳（メタデータ） (2026-01-16T18:01:14Z)
• Causal Structure Learning for Dynamical Systems with Theoretical Score Analysis [7.847876045564289]
  現実世界のシステムは根底にある因果関係に従って連続的に進化するが、そのダイナミクスはしばしば不明である。 動的システムにおける因果発見の新しい手法であるCaDyTを提案する。 実験の結果,CaDyTは定期的に,不規則にサンプリングされたデータに対して,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-12-16T12:41:22Z)
• Unlocking Out-of-Distribution Generalization in Dynamics through Physics-Guided Augmentation [46.40087254928057]
  物理誘導量拡張プラグインのSPARKについて述べる。 多様なベンチマーク実験により、SPARKは最先端のベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2025-10-28T09:30:35Z)
• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
  動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。 科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-03-02T16:10:32Z)
• Neural Persistence Dynamics [8.197801260302642]
  時間発展する点雲のトポロジにおける力学を学習する問題を考察する。 提案したモデル - $textitNeural Persistence Dynamics$ - は、パラメータ回帰タスクの多種多様なセットで最先端のパフォーマンスを大幅に上回る。
  論文  参考訳（メタデータ） (2024-05-24T17:20:18Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。