論文の概要: Generalization capabilities of translationally equivariant neural networks

• arxiv url: http://arxiv.org/abs/2103.14686v1
• Date: Fri, 26 Mar 2021 18:53:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:16:33.380117
• Title: Generalization capabilities of translationally equivariant neural networks
• Title（参考訳）: 翻訳同値ニューラルネットワークの一般化能力
• Authors: Srinath Bulusu, Matteo Favoni, Andreas Ipp, David I. M\"uller, Daniel Schuh
• Abstract要約: 本研究では,2次元格子上の複素スカラー場理論に着目し,群同変畳み込みニューラルネットワークアーキテクチャの利点について検討する。 有意義な比較のために、同値および非同値ニューラルネットワークアーキテクチャを体系的に探索し、様々な回帰および分類タスクに適用する。 我々の最善の同変アーキテクチャは、それらの非同変アーキテクチャよりも相当よく機能し、一般化できることを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rising adoption of machine learning in high energy physics and lattice field theory necessitates the re-evaluation of common methods that are widely used in computer vision, which, when applied to problems in physics, can lead to significant drawbacks in terms of performance and generalizability. One particular example for this is the use of neural network architectures that do not reflect the underlying symmetries of the given physical problem. In this work, we focus on complex scalar field theory on a two-dimensional lattice and investigate the benefits of using group equivariant convolutional neural network architectures based on the translation group. For a meaningful comparison, we conduct a systematic search for equivariant and non-equivariant neural network architectures and apply them to various regression and classification tasks. We demonstrate that in most of these tasks our best equivariant architectures can perform and generalize significantly better than their non-equivariant counterparts, which applies not only to physical parameters beyond those represented in the training set, but also to different lattice sizes.
• Abstract（参考訳）: 高エネルギー物理学や格子場理論における機械学習の採用の高まりは、コンピュータビジョンで広く使われる一般的な方法の再評価を必要とし、物理学の問題に適用すると、性能と一般化可能性の面で大きな欠点をもたらす可能性がある。 その具体例は、与えられた物理的問題の基盤となる対称性を反映しないニューラルネットワークアーキテクチャの使用である。 本研究では,二次元格子上の複素スカラー場理論に注目し,その変換群に基づく群同変畳み込みニューラルネットワークアーキテクチャの利点を検討する。 有意義な比較のために、等価および非等価ニューラルネットワークアーキテクチャを体系的に探索し、それらを様々な回帰および分類タスクに適用する。 これらのタスクのほとんどにおいて、我々の最良の同変アーキテクチャは、トレーニングセットで表されるもの以外の物理パラメータだけでなく、異なる格子サイズにも適用できる、非同変アーキテクチャよりもはるかに優れた性能と一般化を実現できることを実証する。

関連論文リスト

• Equivariant Neural Tangent Kernels [2.373992571236766]
  我々は、グループ畳み込みニューラルネットワークのニューラルネットワーク(NTK)に対する明示的な表現を与える。 数値実験では, 医用画像の分類タスクにおいて, 非同変NTKに対して, 同変NTKよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-10T17:43:13Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
  回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
  論文  参考訳（メタデータ） (2024-01-17T14:30:46Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Unifying O(3) Equivariant Neural Networks Design with Tensor-Network Formalism [12.008737454250463]
  本稿では,SU($2$)対称量子多体問題のシミュレーションに広く用いられている融合図を用いて,同変ニューラルネットワークのための新しい同変成分を設計する手法を提案する。 与えられた局所近傍の粒子に適用すると、結果として得られる成分は「融合ブロック」と呼ばれ、任意の連続同変関数の普遍近似として機能する。 我々のアプローチは、テンソルネットワークと同変ニューラルネットワークを組み合わせることで、より表現力のある同変ニューラルネットワークを設計するための有益な方向を示唆している。
  論文  参考訳（メタデータ） (2022-11-14T16:06:59Z)
• PELICAN: Permutation Equivariant and Lorentz Invariant or Covariant Aggregator Network for Particle Physics [64.5726087590283]
  本稿では,全6次元ローレンツ対称性に対して最大で還元された入力の集合を用いた機械学習アーキテクチャを提案する。 結果として得られたネットワークは、モデル複雑さがはるかに低いにもかかわらず、既存の競合相手すべてを上回っていることを示す。
  論文  参考訳（メタデータ） (2022-11-01T13:36:50Z)
• Equivariance and generalization in neural networks [0.0]
  ネットワーク特性間の翻訳的等式を組み込んだ結果に焦点をあてる。 等変ネットワークの利点は、複素スカラー場の理論を研究することによって実証される。 ほとんどのタスクにおいて、最良の同変アーキテクチャは、非同変アーキテクチャよりもはるかに優れた性能と一般化を達成できる。
  論文  参考訳（メタデータ） (2021-12-23T12:38:32Z)
• Generalization capabilities of neural networks in lattice applications [0.0]
  翻訳等変ニューラルネットワークを用いた非同変ニューラルネットワークの利点について検討する。 我々の最良の同変アーキテクチャは、その非同変アーキテクチャよりも大幅に性能を向上し、一般化できることが示される。
  論文  参考訳（メタデータ） (2021-12-23T11:48:06Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。