論文の概要: Emergence of Computational Structure in a Neural Network Physics Simulator
- arxiv url: http://arxiv.org/abs/2504.11830v1
- Date: Wed, 16 Apr 2025 07:38:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-17 14:39:00.541345
- Title: Emergence of Computational Structure in a Neural Network Physics Simulator
- Title（参考訳）: ニューラルネットワーク物理シミュレータにおける計算構造の創発
- Authors: Rohan Hitchcock, Gary W. Delaney, Jonathan H. Manton, Richard Scalzo, Jingge Zhu,
- Abstract要約: 粒子系の物理をシミュレートするために訓練された変圧器様モデルにおける計算構造の出現について検討する。
a) 粒子衝突の検出を学習する変圧器の注目ヘッドに構造が出現し, (b) 粒子衝突の出現は損失地形の退化に関連し, (c) この現象のダイナミクスは力則に従うことを示す。
- 参考スコア（独自算出の注目度）: 5.874344393486845
- License:
- Abstract: Neural networks often have identifiable computational structures - components of the network which perform an interpretable algorithm or task - but the mechanisms by which these emerge and the best methods for detecting these structures are not well understood. In this paper we investigate the emergence of computational structure in a transformer-like model trained to simulate the physics of a particle system, where the transformer's attention mechanism is used to transfer information between particles. We show that (a) structures emerge in the attention heads of the transformer which learn to detect particle collisions, (b) the emergence of these structures is associated to degenerate geometry in the loss landscape, and (c) the dynamics of this emergence follows a power law. This suggests that these components are governed by a degenerate "effective potential". These results have implications for the convergence time of computational structure within neural networks and suggest that the emergence of computational structure can be detected by studying the dynamics of network components.
- Abstract（参考訳）: ニューラルネットワークは、しばしば、解釈可能なアルゴリズムやタスクを実行するネットワークのコンポーネントである識別可能な計算構造を持つが、これらのメカニズムが出現し、これらの構造を検出する最良の方法がよく理解されていない。
本稿では,粒子系の物理をシミュレートするために訓練された変圧器様モデルにおける計算構造の出現について検討する。
私たちはそれを示します
a) 粒子衝突を検出することを学ぶ変圧器の注目頭部に構造が現れる。
b)これらの構造物の出現は、損失景観における退化幾何学と関連し、
(c)この出現の力学は権力法則に従う。
このことは、これらの成分が縮退した「効果的なポテンシャル」によって支配されていることを示唆している。
これらの結果は、ニューラルネットワーク内の計算構造の収束時間に影響を及ぼし、ネットワークコンポーネントのダイナミクスを研究することにより、計算構造の出現を検出することができることを示唆している。
関連論文リスト
- Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。
まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。
我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
論文 参考訳（メタデータ） (2025-02-03T20:30:46Z) - Graph Attention Hamiltonian Neural Networks: A Lattice System Analysis Model Based on Structural Learning [0.0]
本稿では,格子ハミルトニアン系の基盤構造を理解するニューラルネットワーク手法であるグラフ注意ハミルトニアンニューラルネットワーク(GAHN)を提案する。
系のどの粒子が相互作用するか、異なる粒子間の相互作用の割合、粒子間の相互作用のポテンシャルエネルギーが対称性を示すかどうかを決定できる。
得られた構造は、ニューラルネットワークモデルがシステムの軌道を予測し続け、システムの動的特性をさらに理解するのに役立ちます。
論文 参考訳（メタデータ） (2024-12-14T13:03:15Z) - Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。
我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
論文 参考訳（メタデータ） (2024-07-19T20:50:57Z) - Compositional Structures in Neural Embedding and Interaction Decompositions [101.40245125955306]
ニューラルネットワークにおけるベクトル埋め込みにおける線形代数構造間の基本的な対応について述べる。
相互作用分解」の観点から構成構造の特徴づけを導入する。
モデルの表現の中にそのような構造が存在するためには、必要かつ十分な条件を確立する。
論文 参考訳（メタデータ） (2024-07-12T02:39:50Z) - Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of
Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。
この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文 参考訳（メタデータ） (2024-02-16T02:11:27Z) - Imaginary components of out-of-time correlators and information
scrambling for navigating the learning landscape of a quantum machine
learning model [0.0]
我々は、時間外相関器の未探索の虚構成分が、グラフニューラルネットワークの情報スクランブル能力に関する前例のない洞察を与えることができることを分析的に説明する。
このような分析は、量子情報がそのようなネットワークを介してどのようにスクランブルされるかを明らかにすることによって、量子機械学習モデルのトレーニングをデミステレーションする。
論文 参考訳（メタデータ） (2022-08-29T06:17:28Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A deep learning driven pseudospectral PCE based FFT homogenization
algorithm for complex microstructures [68.8204255655161]
提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。
提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
論文 参考訳（メタデータ） (2021-10-26T07:02:14Z) - Emergent complex quantum networks in continuous-variables non-Gaussian
states [0.0]
マルチパーティの絡み合いと非ガウス統計の両方を示す連続変数量子状態のクラスについて検討する。
特に、状態はガウスエンタングリング操作によって生成された初期インプリントされたクラスタ状態から構築される。
論文 参考訳（メタデータ） (2020-12-31T13:58:37Z) - Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。
予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。
MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
論文 参考訳（メタデータ） (2020-02-17T14:16:17Z) - Geometric deep learning for computational mechanics Part I: Anisotropic
Hyperelasticity [1.8606313462183062]
本稿では, 幾何学的深層学習を用いた最初の試みであり, ソボレフトレーニングには非ユークリッドマイクロ構造データが含まれており, 異方性超構造体機械学習モデルを有限変形範囲でトレーニングすることができる。
論文 参考訳（メタデータ） (2020-01-08T02:07:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。