論文の概要: Unification of Symmetries Inside Neural Networks: Transformer,
Feedforward and Neural ODE
- arxiv url: http://arxiv.org/abs/2402.02362v1
- Date: Sun, 4 Feb 2024 06:11:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 20:12:53.818099
- Title: Unification of Symmetries Inside Neural Networks: Transformer,
Feedforward and Neural ODE
- Title(参考訳): ニューラルネットワーク内の対称性の統一:transformer,feedforward,neural ode
- Authors: Koji Hashimoto, Yuji Hirono, Akiyoshi Sannai
- Abstract要約: 本研究では,ゲージ対称性(ゲージ対称性)の原理をニューラルネットワークアーキテクチャに適用することにより,新しいアプローチを提案する。
数理的にニューラルネットワークのパラメトリックな冗長性を定式化し、それらのゲージ対称性が時空微分同相によって与えられることを確かめる。
ニューラルネットワークをフィードフォワードニューラルネットワークの連続的なバージョンと見なすと、フィードフォワードニューラルネットワークのパラメトリック冗長性は、実際にニューラルネットワークの微分同相性へと持ち上げられることを示す。
- 参考スコア(独自算出の注目度): 2.002741592555996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the inner workings of neural networks, including transformers,
remains one of the most challenging puzzles in machine learning. This study
introduces a novel approach by applying the principles of gauge symmetries, a
key concept in physics, to neural network architectures. By regarding model
functions as physical observables, we find that parametric redundancies of
various machine learning models can be interpreted as gauge symmetries. We
mathematically formulate the parametric redundancies in neural ODEs, and find
that their gauge symmetries are given by spacetime diffeomorphisms, which play
a fundamental role in Einstein's theory of gravity. Viewing neural ODEs as a
continuum version of feedforward neural networks, we show that the parametric
redundancies in feedforward neural networks are indeed lifted to
diffeomorphisms in neural ODEs. We further extend our analysis to transformer
models, finding natural correspondences with neural ODEs and their gauge
symmetries. The concept of gauge symmetries sheds light on the complex behavior
of deep learning models through physics and provides us with a unifying
perspective for analyzing various machine learning architectures.
- Abstract(参考訳): トランスフォーマーを含むニューラルネットワークの内部動作を理解することは、機械学習において最も難しいパズルの1つだ。
本研究では,ゲージ対称性(ゲージ対称性)の原理をニューラルネットワークアーキテクチャに適用することにより,新しいアプローチを提案する。
物理観測可能なモデル関数について、様々な機械学習モデルのパラメトリック冗長性はゲージ対称性として解釈できる。
我々は神経オデムのパラメトリック冗長性を数学的に定式化し、それらのゲージ対称性がアインシュタインの重力理論において基本的な役割を果たす時空微分同相写像によって与えられることを見つける。
ニューラルネットワークをフィードフォワードニューラルネットワークの連続的なバージョンと見なすと、フィードフォワードニューラルネットワークのパラメトリック冗長性は、実際にニューラルネットワークの微分同相性へと持ち上げられることを示す。
我々はさらに解析をトランスモデルに拡張し、ニューラルODEとそのゲージ対称性と自然な対応を見出す。
ゲージ対称性の概念は、物理学を通して深層学習モデルの複雑な振る舞いに光を当て、様々な機械学習アーキテクチャを解析するための統一的な視点を提供する。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳(メタデータ) (2023-04-08T07:55:36Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Hamiltonian Neural Networks with Automatic Symmetry Detection [0.0]
ハミルトニアンニューラルネットワーク(HNN)は、以前の物理知識を組み込むために導入された。
我々は、ニューラルネットワークに対称性を検出し、埋め込むために、Lie代数フレームワークを用いてHNNを強化した。
論文 参考訳(メタデータ) (2023-01-19T07:34:57Z) - Neural Implicit Representations for Physical Parameter Inference from a
Single Video [55.61164103824501]
本稿では,外見モデルのためのニューラル暗黙表現と,物理現象をモデル化するためのニューラル常微分方程式(ODE)を組み合わせることを提案する。
提案モデルでは,大規模なトレーニングデータセットを必要とする既存のアプローチとは対照的に,単一のビデオから物理的パラメータを識別することが可能になる。
ニューラル暗示表現を使用することで、高解像度ビデオの処理とフォトリアリスティック画像の合成が可能になる。
論文 参考訳(メタデータ) (2022-04-29T11:55:35Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Lagrangian Neural Network with Differential Symmetries and Relational
Inductive Bias [5.017136256232997]
システムのラグランジアンを学習するラグランジアンニューラルネットワーク(MCLNN)の運動量について述べる。
また、開発したモデルが任意の大きさのシステムに一般化可能であることを示す。
論文 参考訳(メタデータ) (2021-10-07T08:49:57Z) - Explainable artificial intelligence for mechanics: physics-informing
neural networks for constitutive models [0.0]
メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。
本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。
これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
論文 参考訳(メタデータ) (2021-04-20T18:38:52Z) - Partial Differential Equations is All You Need for Generating Neural
Architectures -- A Theory for Physical Artificial Intelligence Systems [29.667065357274385]
統計物理学では反応拡散方程式、量子力学ではschr"odinger方程式、同軸光学ではhelmholtz方程式を一般化する。
数値解を求めるために,有限差分法を用いてNPDEを判別する。
多層パーセプトロン、畳み込みニューラルネットワーク、繰り返しニューラルネットワークなど、ディープニューラルネットワークアーキテクチャの基本構成要素が生成されます。
論文 参考訳(メタデータ) (2021-03-10T00:05:46Z) - Incorporating Symmetry into Deep Dynamics Models for Improved
Generalization [24.363954435050264]
本稿では,畳み込みニューラルネットワークに対称性を組み込むことにより,精度の向上と一般化を提案する。
我々のモデルは、対称性群変換による分布シフトに対して理論的かつ実験的に堅牢である。
画像やテキストアプリケーションと比較して、我々の研究は、高次元システムに同変ニューラルネットワークを適用するための重要なステップである。
論文 参考訳(メタデータ) (2020-02-08T01:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。