論文の概要: Transformer Dynamics: A neuroscientific approach to interpretability of large language models

• arxiv url: http://arxiv.org/abs/2502.12131v1
• Date: Mon, 17 Feb 2025 18:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:50.324405
• Title: Transformer Dynamics: A neuroscientific approach to interpretability of large language models
• Title（参考訳）: Transformer Dynamics:大規模言語モデルの解釈可能性に関する神経科学的アプローチ
• Authors: Jesseba Fernando, Grigori Guitchounts,
• Abstract要約: 我々はトランスモデルにおける残留ストリーム(RS)に注目し、層をまたいで進化する動的システムとして概念化する。 個々のRSユニットの活性化は、RSが非特権ベースであるにもかかわらず、層間において強い連続性を示す。 縮小次元空間において、RS は下層に誘引子のようなダイナミクスを持つ曲線軌道に従う。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: As artificial intelligence models have exploded in scale and capability, understanding of their internal mechanisms remains a critical challenge. Inspired by the success of dynamical systems approaches in neuroscience, here we propose a novel framework for studying computations in deep learning systems. We focus on the residual stream (RS) in transformer models, conceptualizing it as a dynamical system evolving across layers. We find that activations of individual RS units exhibit strong continuity across layers, despite the RS being a non-privileged basis. Activations in the RS accelerate and grow denser over layers, while individual units trace unstable periodic orbits. In reduced-dimensional spaces, the RS follows a curved trajectory with attractor-like dynamics in the lower layers. These insights bridge dynamical systems theory and mechanistic interpretability, establishing a foundation for a "neuroscience of AI" that combines theoretical rigor with large-scale data analysis to advance our understanding of modern neural networks.
• Abstract（参考訳）: 人工知能モデルが規模と能力で爆発した今、その内部メカニズムの理解は依然として重要な課題である。 本稿では,神経科学における力学系アプローチの成功に触発され,深層学習システムにおける計算の研究のための新しい枠組みを提案する。 我々はトランスモデルにおける残留ストリーム(RS)に注目し、層をまたいで進化する動的システムとして概念化する。 個々のRSユニットの活性化は、RSが非特権ベースであるにもかかわらず、層間において強い連続性を示す。 RSの活性化は、個々のユニットが不安定な周期軌道を辿りながら、層上でより加速し、より密に成長する。 縮小次元空間において、RS は下層に誘引子のようなダイナミクスを持つ曲線軌道に従う。 これらの洞察は力学系理論と機械論的解釈可能性の橋渡しであり、理論的な厳密さと大規模データ分析を組み合わせて現代のニューラルネットワークの理解を前進させる「AIの神経科学」の基礎を確立している。

関連論文リスト

• Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
  本稿では,保護インフォームドGNN(CiGNN)について紹介する。 このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。 結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
  論文  参考訳（メタデータ） (2024-12-30T13:55:59Z)
• A scalable generative model for dynamical system reconstruction from neuroimaging data [5.777167013394619]
  データ駆動推論は、観測された時系列の集合に基づく生成力学の推論であり、機械学習への関心が高まっている。 動的システム再構成(DSR)に特化した状態空間モデル(SSM)のトレーニング技術における最近の進歩は、基礎となるシステムの回復を可能にする。 本稿では,この問題を解く新しいアルゴリズムを提案し,モデル次元とフィルタ長とを比較検討する。
  論文  参考訳（メタデータ） (2024-11-05T09:45:57Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Learning System Dynamics without Forgetting [60.08612207170659]
  未知の力学を持つ系の軌道予測は、物理学や生物学を含む様々な研究分野において重要である。 本稿では,モードスイッチンググラフODE (MS-GODE) の新たなフレームワークを提案する。 生体力学の異なる多様な系を特徴とする生体力学システムの新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• Interpretable statistical representations of neural population dynamics and geometry [4.459704414303749]
  そこで我々は,manifold dynamics を局所流れ場に分解し,それらを共通潜在空間にマッピングする表現学習手法 MARBLE を提案する。 シミュレーションされた非線形力学系,リカレントニューラルネットワーク,および霊長類および歯列類からの実験的単一ニューロン記録において,創発的低次元潜伏表現が発見された。 これらの表現はニューラルネットワークや動物間で一貫性があり、認知計算の堅牢な比較を可能にする。
  論文  参考訳（メタデータ） (2023-04-06T21:11:04Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• Learning Continuous Chaotic Attractors with a Reservoir Computer [0.0]
  我々は1000ニューロンのRNNをトレーニングし、動的アトラクションメモリの分離例から連続的動的アトラクションメモリを抽象化する。 RCを安定な極限サイクルまたはカオス的なローレンツ引力の孤立およびシフトした例で訓練することにより、RCは、余剰のリャプノフ指数が 0 に等しいように、引力の連続性を学ぶ。
  論文  参考訳（メタデータ） (2021-10-16T18:07:27Z)
• A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
  より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。 本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
  論文  参考訳（メタデータ） (2021-05-15T19:49:32Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。