論文の概要: Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

• arxiv url: http://arxiv.org/abs/2607.10923v1
• Date: Sun, 12 Jul 2026 21:05:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.567416
• Title: Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics
• Title（参考訳）: 変圧器力学における赤外組織と臨界認知場の形成
• Authors: Byung Gyu Chae,
• Abstract要約: 大規模言語モデルは顕著な創発的な振る舞いを示すが、それらの集団力学を管理する物理的なメカニズムはいまだに理解されていない。 認知場理論は、学習が緩やかな緩和モードの赤外線蓄積を通じて状態の時間スケール密度(TDOS)を再編成すると予想する。 公開可能なPythia言語モデルを用いて、トレーニング、ネットワーク深さ、モデルスケールを通じてトランスフォーマー層ヤコビアンから直接緩和スペクトルを抽出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models exhibit remarkable emergent behaviors, yet the physical mechanism governing their collective dynamics remains poorly understood. Cognitive Field Theory predicts that learning reorganizes the time-scale density of states (TDOS) through the infrared accumulation of slow relaxation modes, thereby enhancing the memory self-energy, reducing the cognitive forgetting gap, and strengthening the collective susceptibility. Using publicly available Pythia language models, we extract relaxation spectra directly from Transformer layer Jacobians throughout training, network depth, and model scale, allowing the TDOS, memory self-energy, forgetting gap, memory kernel, and infrared critical exponent to be measured quantitatively. The measurements reveal progressive infrared accumulation of slow relaxation modes, producing an approximately flat infrared TDOS with \( ρ(λ)\simλ^{-0.1} \) and scale-free memory kernels \( K(t)\sim t^{-1}. \) The memory self-energy exhibits a pronounced transient maximum during early optimization before relaxing toward a metastable near-critical regime, corresponding to the smallest cognitive forgetting gap and the largest collective susceptibility predicted by Cognitive Field Theory. These observations provide quantitative experimental evidence that Transformer dynamics are governed by infrared collective organization. The reproducibility of the same dynamical behavior across training, network depth, and model scales suggests that infrared slow-mode organization represents a universal collective principle of Transformer dynamics.
• Abstract（参考訳）: 大規模言語モデルは顕著な創発的な振る舞いを示すが、それらの集団力学を管理する物理的なメカニズムはいまだに理解されていない。 認知フィールド理論(Cognitive Field Theory)は、学習が緩やかな緩和モードの赤外線蓄積を通じて状態の時間スケール密度(TDOS)を再編成し、それによって記憶の自己エネルギーを向上し、認知的忘れるギャップを減らし、集団的な感受性を高めることを予測している。 公開可能なPythia言語モデルを用いて、トレーニング、ネットワーク深さ、モデルスケールを通じてトランスフォーマー層ヤコビアンから直接緩和スペクトルを抽出し、TDOS、メモリ自己エネルギー、メモリギャップ、メモリカーネル、赤外線臨界指数を定量的に測定する。 この測定により、緩やかな緩和モードのプログレッシブな赤外線蓄積が明らかとなり、ほぼ平らなTDOSに \( ρ(λ)\simλ^{-0.1} \) とスケールフリーなメモリカーネル \( K(t)\sim t^{-1} が生成される。 ニ 記憶自己エネルギーは、メタスタブルな準臨界状態へ緩和する前に、初期最適化中に顕著な過渡的最大値を示し、認知場理論により予測される最小の認知的忘れるギャップと最大の集団感受性に対応する。 これらの観察は、トランスフォーマーダイナミクスが赤外線集合体によって支配されているという定量的な実験的証拠を提供する。 トレーニング、ネットワーク深度、モデルスケールにおける同じ動的挙動の再現性は、赤外線のスローモード組織がトランスフォーマーダイナミクスの普遍的な集合原理を表していることを示唆している。

関連論文リスト

• Decoding Naturalistic Emotion Dynamics from the Brain: An LLM-Enhanced Regression Framework [3.8543064191088203]
  神経信号からの感情状態の復号は、通常、離散的なシングルラベル分類タスクとしてフレーム化されている。 本研究では,複数の重なり合う感情の次元を時間とともに連続的な軌跡として追跡するために,多目的回帰フレームワークを採用することにより,感情の復号化を再認識する。
  論文  参考訳（メタデータ） (2026-06-05T10:40:22Z)
• Neural Dynamics Self-Attention for Spiking Transformers [59.57278823240336]
  TransformerアーキテクチャによるSNN(Spike Neural Networks)は、エネルギー効率とパフォーマンスのバランスをとるための、有望な経路を提供する。 既存のスパイキングトランスフォーマーは、(i)ニューラルネットワーク(ANN)と(ii)推論時の高メモリオーバーヘッドと比較して、大幅なパフォーマンスギャップがあるという2つの重要な課題に直面している。 本稿では、局所受容野を持つスパイキングニューロンを用いて、メモリ要求を減らしながら注意を計算するLRF-Dynを提案する。
  論文  参考訳（メタデータ） (2026-03-09T12:23:37Z)
• From Complex Dynamics to DynFormer: Rethinking Transformers for PDEs [6.873342825786888]
  トランスフォーマーベースのニューラルオペレータは、強力なデータ駆動型代替手段として登場した。 動的インフォームドニューラル演算子DynFormerを提案する。 我々はDynFormerが、最先端のベースラインと比較して95%の相対誤差を削減できることを示す。
  論文  参考訳（メタデータ） (2026-03-03T15:45:09Z)
• Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory [0.0]
  この論文は、現代のディープラーニング、信頼性、効率性において、永続的で密接に関連する2つの課題に対処する。 層と入力間の隠れアクティベーションの固有値ダイナミクスを解析することにより、スペクトル統計学がモデル挙動にコンパクトで安定で解釈可能なレンズを提供することを示す。 このフレームワーク内では、最初のコントリビューションであるEigenTrackが、大規模言語と視覚言語モデルにおける幻覚とアウト・オブ・ディストリビューションの振る舞いをリアルタイムに検出する手法を導入した。 第二の貢献である RMT-KD は、ランダム行列理論知識蒸留によるディープネットワークの圧縮に対する原則的なアプローチを示す。
  論文  参考訳（メタデータ） (2026-02-25T19:11:56Z)
• UltraLIF: Fully Differentiable Spiking Neural Networks via Ultradiscretization and Max-Plus Algebra [0.0]
  Spiking Neural Networks (SNN) は、エネルギー効率が高く、生物学的に妥当な計算を提供するが、非微分可能なスパイク生成に苦しむ。 シュロゲート勾配を超離散化に置き換える原理的なフレームワークであるUltraLIFを紹介する。 静的画像、ニューロモルフィック視覚、オーディオにまたがる6つのベンチマークの実験では、サロゲート勾配ベースラインよりも改善が示されている。
  論文  参考訳（メタデータ） (2026-02-10T18:21:54Z)
• Fractional neural attention for efficient multiscale sequence processing [0.0]
  マルチスケール情報処理の原理的フレームワークであるFNA(Frictional Neural Attention)を導入する。 FNAは、ラプラシアン分数によって支配されるレヴィ拡散によるトークン相互作用をモデル化する。 FNAは、単一の層と単一のヘッドであっても、競合するテキスト分類性能を達成する。
  論文  参考訳（メタデータ） (2025-11-13T11:27:39Z)
• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• Transformers from Diffusion: A Unified Framework for Neural Message Passing [79.9193447649011]
  メッセージパッシングニューラルネットワーク(MPNN)は、デファクトクラスのモデルソリューションとなっている。 本稿では,拡散の誘導バイアスとエネルギーの層的制約を統合するエネルギー制約拡散モデルを提案する。 これらの知見に基づいて、我々はTransformer (DIFFormer)と呼ばれる新しいタイプのメッセージパッシングモデルを考案した。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。