論文の概要: Unification of Symmetries Inside Neural Networks: Transformer, Feedforward and Neural ODE

• arxiv url: http://arxiv.org/abs/2402.02362v1
• Date: Sun, 4 Feb 2024 06:11:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 20:12:53.818099
• Title: Unification of Symmetries Inside Neural Networks: Transformer, Feedforward and Neural ODE
• Title（参考訳）: ニューラルネットワーク内の対称性の統一:transformer,feedforward,neural ode
• Authors: Koji Hashimoto, Yuji Hirono, Akiyoshi Sannai
• Abstract要約: 本研究では,ゲージ対称性(ゲージ対称性)の原理をニューラルネットワークアーキテクチャに適用することにより,新しいアプローチを提案する。 数理的にニューラルネットワークのパラメトリックな冗長性を定式化し、それらのゲージ対称性が時空微分同相によって与えられることを確かめる。 ニューラルネットワークをフィードフォワードニューラルネットワークの連続的なバージョンと見なすと、フィードフォワードニューラルネットワークのパラメトリック冗長性は、実際にニューラルネットワークの微分同相性へと持ち上げられることを示す。
• 参考スコア（独自算出の注目度）: 2.002741592555996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the inner workings of neural networks, including transformers, remains one of the most challenging puzzles in machine learning. This study introduces a novel approach by applying the principles of gauge symmetries, a key concept in physics, to neural network architectures. By regarding model functions as physical observables, we find that parametric redundancies of various machine learning models can be interpreted as gauge symmetries. We mathematically formulate the parametric redundancies in neural ODEs, and find that their gauge symmetries are given by spacetime diffeomorphisms, which play a fundamental role in Einstein's theory of gravity. Viewing neural ODEs as a continuum version of feedforward neural networks, we show that the parametric redundancies in feedforward neural networks are indeed lifted to diffeomorphisms in neural ODEs. We further extend our analysis to transformer models, finding natural correspondences with neural ODEs and their gauge symmetries. The concept of gauge symmetries sheds light on the complex behavior of deep learning models through physics and provides us with a unifying perspective for analyzing various machine learning architectures.
• Abstract（参考訳）: トランスフォーマーを含むニューラルネットワークの内部動作を理解することは、機械学習において最も難しいパズルの1つだ。 本研究では,ゲージ対称性(ゲージ対称性)の原理をニューラルネットワークアーキテクチャに適用することにより,新しいアプローチを提案する。 物理観測可能なモデル関数について、様々な機械学習モデルのパラメトリック冗長性はゲージ対称性として解釈できる。 我々は神経オデムのパラメトリック冗長性を数学的に定式化し、それらのゲージ対称性がアインシュタインの重力理論において基本的な役割を果たす時空微分同相写像によって与えられることを見つける。 ニューラルネットワークをフィードフォワードニューラルネットワークの連続的なバージョンと見なすと、フィードフォワードニューラルネットワークのパラメトリック冗長性は、実際にニューラルネットワークの微分同相性へと持ち上げられることを示す。 我々はさらに解析をトランスモデルに拡張し、ニューラルODEとそのゲージ対称性と自然な対応を見出す。 ゲージ対称性の概念は、物理学を通して深層学習モデルの複雑な振る舞いに光を当て、様々な機械学習アーキテクチャを解析するための統一的な視点を提供する。

関連論文リスト

• Optimal Equivariant Architectures from the Symmetries of Matrix-Element Likelihoods [0.0]
  マトリックス要素法(MEM)は長年、高エネルギー物理学におけるデータ解析の基盤となっている。 幾何学的なディープラーニングは、既知の対称性を直接設計に組み込むニューラルネットワークアーキテクチャを可能にした。 本稿では、MEMにインスパイアされた対称性と、粒子物理解析のための同変ニューラルネットワーク設計を組み合わせた新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-24T08:56:37Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Hamiltonian Neural Networks with Automatic Symmetry Detection [0.0]
  ハミルトニアンニューラルネットワーク(HNN)は、以前の物理知識を組み込むために導入された。 我々は、ニューラルネットワークに対称性を検出し、埋め込むために、Lie代数フレームワークを用いてHNNを強化した。
  論文  参考訳（メタデータ） (2023-01-19T07:34:57Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Lagrangian Neural Network with Differential Symmetries and Relational Inductive Bias [5.017136256232997]
  システムのラグランジアンを学習するラグランジアンニューラルネットワーク(MCLNN)の運動量について述べる。 また、開発したモデルが任意の大きさのシステムに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T08:49:57Z)
• Incorporating Symmetry into Deep Dynamics Models for Improved Generalization [24.363954435050264]
  本稿では,畳み込みニューラルネットワークに対称性を組み込むことにより,精度の向上と一般化を提案する。 我々のモデルは、対称性群変換による分布シフトに対して理論的かつ実験的に堅牢である。 画像やテキストアプリケーションと比較して、我々の研究は、高次元システムに同変ニューラルネットワークを適用するための重要なステップである。
  論文  参考訳（メタデータ） (2020-02-08T01:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。