論文の概要: Equivariant Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2406.06504v2
• Date: Fri, 31 Jan 2025 14:56:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:58:47.999666
• Title: Equivariant Neural Tangent Kernels
• Title（参考訳）: 等価なニューラルタンジェントカーネル
• Authors: Philipp Misof, Pan Kessel, Jan E. Gerken,
• Abstract要約: ニューラルネットワークのトレーニングダイナミクスを解析的に研究するための強力なツールとして、NTK(Neural Tangent kernel)が登場した。 データ拡張とグループ畳み込みネットワークの興味深い関係を示す。 また,同変NTKは,組織像の分類や量子力学特性の予測を行うカーネル予測器として,同変NTKよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.373992571236766
• License:
• Abstract: Little is known about the training dynamics of equivariant neural networks, in particular how it compares to data augmented training of their non-equivariant counterparts. Recently, neural tangent kernels (NTKs) have emerged as a powerful tool to analytically study the training dynamics of wide neural networks. In this work, we take an important step towards a theoretical understanding of training dynamics of equivariant models by deriving neural tangent kernels for a broad class of equivariant architectures based on group convolutions. As a demonstration of the capabilities of our framework, we show an interesting relationship between data augmentation and group convolutional networks. Specifically, we prove that they share the same expected prediction at all training times and even off-manifold. In this sense, they have the same training dynamics. We demonstrate in numerical experiments that this still holds approximately for finite-width ensembles. By implementing equivariant NTKs for roto-translations in the plane ($G=C_{n}\ltimes\mathbb{R}^{2}$) and 3d rotations ($G=\mathrm{SO}(3)$), we show that equivariant NTKs outperform their non-equivariant counterparts as kernel predictors for histological image classification and quantum mechanical property prediction.
• Abstract（参考訳）: 同変ニューラルネットワークのトレーニングダイナミクスについてはほとんど分かっていないが、特に同変でないニューラルネットワークのデータ強化トレーニングとの比較は少ない。 近年,ニューラルネットワークのトレーニングダイナミクスを解析的に研究するための強力なツールとして,ニューラルタンジェントカーネル(NTK)が登場している。 本研究では、群畳み込みに基づく多種多様な同変アーキテクチャに対するニューラル・タンジェント・カーネルの導出による同変モデルのトレーニング力学の理論的理解に向けて重要な一歩を踏み出す。 フレームワークの能力の実証として,データ拡張とグループ畳み込みネットワークの興味深い関係を示す。 具体的には、すべてのトレーニング時間とオフマニフォールドで、彼らが同じ予測を共有していることを証明します。 この意味では、彼らは同じトレーニングダイナミクスを持っています。 数値実験で、これは有限幅のアンサンブルに対してほぼ成り立つことを示した。 平面(G=C_{n}\ltimes\mathbb{R}^{2}$)および3d回転(G=\mathrm{SO}(3)$)におけるロト翻訳のための同変NTKの実装により、同変NTKは、組織学的画像分類と量子力学的性質予測のためのカーネル予測器として、同変NTKよりも優れていることを示す。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Unifying O(3) Equivariant Neural Networks Design with Tensor-Network Formalism [12.008737454250463]
  本稿では,SU($2$)対称量子多体問題のシミュレーションに広く用いられている融合図を用いて,同変ニューラルネットワークのための新しい同変成分を設計する手法を提案する。 与えられた局所近傍の粒子に適用すると、結果として得られる成分は「融合ブロック」と呼ばれ、任意の連続同変関数の普遍近似として機能する。 我々のアプローチは、テンソルネットワークと同変ニューラルネットワークを組み合わせることで、より表現力のある同変ニューラルネットワークを設計するための有益な方向を示唆している。
  論文  参考訳（メタデータ） (2022-11-14T16:06:59Z)
• Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
  現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。 本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
  論文  参考訳（メタデータ） (2022-09-17T17:02:35Z)
• Group-invariant tensor train networks for supervised learning [0.0]
  正規行列表現の作用の下で不変なテンソルの基底を構成するための新しい数値アルゴリズムを導入する。 その後、グループ不変テンソルをグループ不変テンソルトレインネットワークに結合し、教師付き機械学習モデルとして使用することができる。
  論文  参考訳（メタデータ） (2022-06-30T06:33:08Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Equivariant geometric learning for digital rock physics: estimating formation factor and effective permeability tensors from Morse graph [7.355408124040856]
  本論文では、マイクロCT画像から生成因子と有効透過率を直接予測するSE(3)等価グラフニューラルネットワーク(GNN)手法を提案する。 FFTソルバは形成因子と有効透磁率の両方を計算するために確立され、気孔空間の位相と幾何学は永続化ベースのモースグラフで表される。
  論文  参考訳（メタデータ） (2021-04-12T16:28:25Z)
• Theoretical Aspects of Group Equivariant Neural Networks [9.449391486456209]
  群同変ニューラルネットワークはここ数年で研究され、理論的および実践的な観点から興味深い。 彼らは群表現論、非可換調和解析、微分幾何学の概念を利用する。 実際には、サンプルやモデルの複雑さを減らすことが示されており、特に任意の回転のような入力変換が存在する困難なタスクでは顕著である。
  論文  参考訳（メタデータ） (2020-04-10T17:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。