論文の概要: Transformer Dynamics: A neuroscientific approach to interpretability of large language models

• arxiv url: http://arxiv.org/abs/2502.12131v1
• Date: Mon, 17 Feb 2025 18:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:45.496386
• Title: Transformer Dynamics: A neuroscientific approach to interpretability of large language models
• Title（参考訳）: Transformer Dynamics:大規模言語モデルの解釈可能性に関する神経科学的アプローチ
• Authors: Jesseba Fernando, Grigori Guitchounts,
• Abstract要約: 我々はトランスモデルにおける残留ストリーム(RS)に注目し、層をまたいで進化する動的システムとして概念化する。 個々のRSユニットの活性化は、RSが非特権ベースであるにもかかわらず、層間において強い連続性を示す。 縮小次元空間において、RS は下層に誘引子のようなダイナミクスを持つ曲線軌道に従う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As artificial intelligence models have exploded in scale and capability, understanding of their internal mechanisms remains a critical challenge. Inspired by the success of dynamical systems approaches in neuroscience, here we propose a novel framework for studying computations in deep learning systems. We focus on the residual stream (RS) in transformer models, conceptualizing it as a dynamical system evolving across layers. We find that activations of individual RS units exhibit strong continuity across layers, despite the RS being a non-privileged basis. Activations in the RS accelerate and grow denser over layers, while individual units trace unstable periodic orbits. In reduced-dimensional spaces, the RS follows a curved trajectory with attractor-like dynamics in the lower layers. These insights bridge dynamical systems theory and mechanistic interpretability, establishing a foundation for a "neuroscience of AI" that combines theoretical rigor with large-scale data analysis to advance our understanding of modern neural networks.
• Abstract（参考訳）: 人工知能モデルが規模と能力で爆発した今、その内部メカニズムの理解は依然として重要な課題である。 本稿では,神経科学における力学系アプローチの成功に触発され,深層学習システムにおける計算の研究のための新しい枠組みを提案する。 我々はトランスモデルにおける残留ストリーム(RS)に注目し、層をまたいで進化する動的システムとして概念化する。 個々のRSユニットの活性化は、RSが非特権ベースであるにもかかわらず、層間において強い連続性を示す。 RSの活性化は、個々のユニットが不安定な周期軌道を辿りながら、層上でより加速し、より密に成長する。 縮小次元空間において、RS は下層に誘引子のようなダイナミクスを持つ曲線軌道に従う。 これらの洞察は力学系理論と機械論的解釈可能性の橋渡しであり、理論的な厳密さと大規模データ分析を組み合わせて現代のニューラルネットワークの理解を前進させる「AIの神経科学」の基礎を確立している。

関連論文リスト

• High-order expansion of Neural Ordinary Differential Equations flows [4.4569182855550755]
  イベントグラデーション上のニューラルODEダイナミクスの厳密な数学的記述を提供する高階微分に基づくフレームワークであるイベントトランジションを紹介する。 本研究は,イベントトリガー型ニューラルディファレンス方程式のより深い理論的基礎と,複雑なシステム力学を説明する数学的構造に寄与する。
  論文  参考訳（メタデータ） (2025-04-02T08:57:34Z)
• Position: Solve Layerwise Linear Models First to Understand Neural Dynamical Phenomena (Neural Collapse, Emergence, Lazy/Rich Regime, and Grokking) [0.8130739369606821]
  機械学習では、階層的な線形モデルはニューラルネットワークのダイナミクスを単純化した表現として機能する。 これらのモデルは動的フィードバックの原則に従い、レイヤが相互に統治し、互いの進化を増幅する方法を記述する。
  論文  参考訳（メタデータ） (2025-02-28T12:52:11Z)
• Neural Manifolds and Cognitive Consistency: A New Approach to Memory Consolidation in Artificial Systems [0.0]
  本稿では, ニューラル人口動態, 海馬鋭波リップル(SpWR)生成, ハイダー理論に触発された認知的一貫性の制約を統一する新しい数学的枠組みを提案する。 我々のモデルは低次元多様体表現を利用して構造化された神経ドリフトを捕捉し、コヒーレントシナプス相互作用を強制するためにバランスエネルギー関数を組み込む。 この研究は、神経科学と人工知能を橋渡しするスケーラブルなニューロモルフィックアーキテクチャの道を開くもので、将来のインテリジェントシステムに対してより堅牢で適応的な学習メカニズムを提供する。
  論文  参考訳（メタデータ） (2025-02-25T18:28:25Z)
• Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
  本稿では,保護インフォームドGNN(CiGNN)について紹介する。 このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。 結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
  論文  参考訳（メタデータ） (2024-12-30T13:55:59Z)
• A scalable generative model for dynamical system reconstruction from neuroimaging data [5.777167013394619]
  データ駆動推論は、観測された時系列の集合に基づく生成力学の推論であり、機械学習への関心が高まっている。 動的システム再構成(DSR)に特化した状態空間モデル(SSM)のトレーニング技術における最近の進歩は、基礎となるシステムの回復を可能にする。 本稿では,この問題を解く新しいアルゴリズムを提案し,モデル次元とフィルタ長とを比較検討する。
  論文  参考訳（メタデータ） (2024-11-05T09:45:57Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Learning System Dynamics without Forgetting [60.08612207170659]
  本研究では,CDL(Continuous Dynamics Learning)の問題,タスク構成の検証,既存手法の適用性について検討する。 本稿では、LG-ODEとサブネットワーク学習の長所をモデムスイッチングモジュールと統合したモードスイッチンググラフODE(MS-GODE)モデルを提案する。 CDLのための生体動態システムの新しいベンチマーク、Bio-CDLを構築し、異なるダイナミクスを持つ多様なシステムを特徴付ける。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Expressive architectures enhance interpretability of dynamics-based neural population models [2.294014185517203]
  シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。 広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
  論文  参考訳（メタデータ） (2022-12-07T16:44:26Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
  より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。 本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
  論文  参考訳（メタデータ） (2021-05-15T19:49:32Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。