論文の概要: Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures
- arxiv url: http://arxiv.org/abs/2608.18592v1
- Date: Wed, 19 Aug 2026 06:34:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.308611
- Title: Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures
- Title（参考訳）: 変圧器および状態空間アーキテクチャにおける集合力学の赤外普遍性
- Abstract要約: トランスフォーマー言語モデルの最近の分析では、ほぼ平らで、弱い赤外線による時間スケールの状態密度が明らかになった。
異なるシーケンスアーキテクチャは、密接に関連するニアマージのスローモードダイナミクスを発達させることができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Whether distinct neural architectures develop common collective dynamics remains an open question. Recent analysis of Transformer language models revealed a nearly flat, weakly infrared-enhanced time-scale density of states (TDOS) associated with near-marginal long-memory dynamics. Here we test whether a closely related organization emerges in Mamba, whose selective state-space dynamics provides a fundamentally different microscopic mechanism. Mamba allows relaxation dynamics to be resolved at three levels: the intrinsic spectrum of the learned state-space generator, its input-conditioned selective rescaling, and the collective TDOS of the complete block measured from its Jacobian. These spectra are not identical: selective dynamics and the remaining block transformations substantially reorganize the microscopic relaxation hierarchy. Nevertheless, the full block develops a reproducible slow-mode continuum whose infrared sector becomes progressively better resolved with increasing sequence length. Cumulative analysis yields $ρ(λ)\simλ^β$, with the long-sequence Mamba exponent stabilizing near $β_{\rm M}\simeq-0.17$. The corresponding memory dynamics follows $K(t)\sim t^{-(1+β)}$, close to the marginal $1/t$ regime. Despite fundamentally different microscopic dynamics, Transformer full-block spectra exhibit closely related infrared organization, with representative exponents of order $β_{\rm Tr}\sim-0.1$. These results separate explicit state-space memory from collective infrared organization and show that distinct sequence architectures can develop closely related near-marginal slow-mode dynamics. They extend infrared collective organization beyond Transformers and provide an independent test of the dynamical structure described by Cognitive Field Theory.
- Abstract（参考訳）: 異なるニューラルアーキテクチャが共通の集合力学を発達するかどうかは、未解決の問題である。
トランスフォーマー言語モデルの最近の分析では、ほぼ平らで、弱い赤外線による時間スケールの状態密度(TDOS)が、ニアマージナルな長期記憶力学と関連していることが明らかになった。
ここでは、マムバに近縁な組織が出現するかどうかを検証し、その選択的な状態空間力学は、根本的に異なる顕微鏡機構を提供する。
マンバは、学習状態空間生成器の内在スペクトル、入力条件の選択的再スケーリング、ジャコビアンから測定された完全なブロックの集合 TDOS の3つのレベルで緩和力学を解くことができる。
これらのスペクトルは同一ではない:選択力学と残りのブロック変換は顕微鏡緩和階層を実質的に再構成する。
それでも、全ブロックは再現可能なスローモード連続体を発達させ、赤外線セクターはシーケンス長の増大とともに徐々に改善される。
累積解析は$ρ(λ)\simλ^β$となり、長列のマンバ指数は$β_{\rm M}\simeq-0.17$の近くで安定化する。
対応するメモリのダイナミクスは$K(t)\sim t^{-(1+β)}$に従う。
基本的に異なる微視的ダイナミクスにもかかわらず、Transformer full-block spectraは、約$β_{\rm Tr}\sim-0.1$の代表的な指数を持つ、近縁な赤外線構造を示す。
これらの結果は、集合的赤外線組織から明示的な状態空間記憶を分離し、異なるシーケンスアーキテクチャが密接に関連するニアマージのスローモードダイナミクスを発達させることができることを示す。
それらは変換器を超えて赤外線集合体組織を拡張し、認知場理論によって記述された動的構造の独立したテストを提供する。
関連論文リスト
- Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding [63.599342750566485]
SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。
エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
論文 参考訳（メタデータ） (2026-08-29T09:58:24Z) - Kibble--Zurek Scaling in the Dicke Model at Mesoscopic Scales [4.754494124150814]
我々は、閉かつオープンなディックモデルに対して、異なるコヒーレントで散逸的な固定点を識別する大きな$N$解析を行う。
次に、先行する無関係な補正を組み込んだメソスコピック・スケーリング・フレームワークを開発する。
我々の研究は、クローズドおよびオープン量子システムにおける静的および動的臨界スケーリングを解決するための統一的な枠組みを確立する。
論文 参考訳（メタデータ） (2026-08-20T14:01:33Z) - GrainGS: Gradient-Decoupled Gaussian Splatting for Efficient Dynamic Novel View Synthesis [94.20462261657525]
GrainGSは階層的なアンカー足場とガウス単位の変形を組み合わせた動的フレームワークである。
高いリコンストラクション品質、リアルタイムの新規ビュー合成、コンパクトストレージを実現している。
論文 参考訳（メタデータ） (2026-07-23T15:52:35Z) - Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics [0.0]
大規模言語モデルは顕著な創発的な振る舞いを示すが、それらの集団力学を管理する物理的なメカニズムはいまだに理解されていない。
認知場理論は、学習が緩やかな緩和モードの赤外線蓄積を通じて状態の時間スケール密度(TDOS)を再編成すると予想する。
公開可能なPythia言語モデルを用いて、トレーニング、ネットワーク深さ、モデルスケールを通じてトランスフォーマー層ヤコビアンから直接緩和スペクトルを抽出する。
論文 参考訳（メタデータ） (2026-07-12T21:05:55Z) - AdaSurvMamba: Dynamic Fusion and Semantic Scanning for Multimodal Survival Analysis [57.942670844512016]
我々はAdaSurvMambaをマルチモーダルサバイバル分析の新しい適応フレームワークとして紹介する。
このフレームワークは、クロスモーダル相互作用強度を動的に変調するDual-Scale Importance-Aware Reconstruction (DSIR)モジュールを備えている。
5つのTCGAコホートに対する実験は、既存の方法よりも一貫した利得を示している。
論文 参考訳（メタデータ） (2026-06-28T11:36:31Z) - MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。
MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。
HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
論文 参考訳（メタデータ） (2026-06-22T10:14:06Z) - Controlled Dynamics Attractor Transformer [58.15454173718687]
トランスフォーマーアーキテクチャは自己認識機構を通じて深層モデルにおける高度な表現学習と推論を行う。
並行して、連想記憶(AM)フレームワークはエネルギーランドスケープに表現をマッピングし、解釈可能な検索メカニズムを提供する。
我々は,ミセス・フィッシャー (Mo-vMF) の注意エネルギーとホップフィールド精製エネルギーを混合した制御型ダイナミクス・アトラクタ変換器 (CCAT) を提案する。
CCATは、グラフ異常検出とグラフ分類において、複数のベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-06-13T09:04:22Z) - From Complex Dynamics to DynFormer: Rethinking Transformers for PDEs [6.873342825786888]
トランスフォーマーベースのニューラルオペレータは、強力なデータ駆動型代替手段として登場した。
動的インフォームドニューラル演算子DynFormerを提案する。
我々はDynFormerが、最先端のベースラインと比較して95%の相対誤差を削減できることを示す。
論文 参考訳（メタデータ） (2026-03-03T15:45:09Z) - UltraLIF: Fully Differentiable Spiking Neural Networks via Ultradiscretization and Max-Plus Algebra [0.0]
Spiking Neural Networks (SNN) は、エネルギー効率が高く、生物学的に妥当な計算を提供するが、非微分可能なスパイク生成に苦しむ。
シュロゲート勾配を超離散化に置き換える原理的なフレームワークであるUltraLIFを紹介する。
静的画像、ニューロモルフィック視覚、オーディオにまたがる6つのベンチマークの実験では、サロゲート勾配ベースラインよりも改善が示されている。
論文 参考訳（メタデータ） (2026-02-10T18:21:54Z) - Beyond Ensembles: Simulating All-Atom Protein Dynamics in a Learned Latent Space [4.5211402678313135]
LD-FPGの学習潜在空間内でのダイナミクスをシミュレーションするモジュールコンポーネントであるGraph Latent Dynamics Propagator (GLDP)を紹介する。
我々は,スコア誘導ランゲヴィン力学,(ii)クープマンに基づく線形作用素,(iii)自己回帰ニューラルネットワークの3種類のプロパゲータを比較した。
統合エンコーダ・プロパゲータ・デコーダ・フレームワーク内では、長い水平安定性、バックボーンとサイドチェーンのアンサンブルの忠実さ、機能的自由エネルギーの景観を評価する。
論文 参考訳（メタデータ） (2025-09-02T11:09:06Z) - An Efficient and Mixed Heterogeneous Model for Image Restoration [71.85124734060665]
現在の主流のアプローチは、CNN、Transformers、Mambasの3つのアーキテクチャパラダイムに基づいている。
混合構造融合に基づく効率的で汎用的なIRモデルであるRestorMixerを提案する。
論文 参考訳（メタデータ） (2025-04-15T08:19:12Z) - Information scrambling and entanglement dynamics in Floquet Time Crystals [49.1574468325115]
本研究では, 乱れたシステムにおける情報伝達の指標として, 時間外相関器(OTOC)のダイナミクスとエントロピーの絡み合いについて検討する。
論文 参考訳（メタデータ） (2024-11-20T17:18:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。