論文の概要: Hierarchical Learning in Euclidean Neural Networks

• arxiv url: http://arxiv.org/abs/2210.04766v1
• Date: Mon, 10 Oct 2022 15:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 19:42:00.658825
• Title: Hierarchical Learning in Euclidean Neural Networks
• Title（参考訳）: ユークリッドニューラルネットワークにおける階層学習
• Authors: Joshua A. Rackers and Pranav Rao
• Abstract要約: ユークリッドニューラルネットワーク(texttte3nn)における高次(非スカラー)特徴の役割について検討する。 多重極展開を思い起こさせるような$l$の自然な特徴階層が見つかる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equivariant machine learning methods have shown wide success at 3D learning applications in recent years. These models explicitly build in the reflection, translation and rotation symmetries of Euclidean space and have facilitated large advances in accuracy and data efficiency for a range of applications in the physical sciences. An outstanding question for equivariant models is why they achieve such larger-than-expected advances in these applications. To probe this question, we examine the role of higher order (non-scalar) features in Euclidean Neural Networks (\texttt{e3nn}). We focus on the previously studied application of \texttt{e3nn} to the problem of electron density prediction, which allows for a variety of non-scalar outputs, and examine whether the nature of the output (scalar $l=0$, vector $l=1$, or higher order $l>1$) is relevant to the effectiveness of non-scalar hidden features in the network. Further, we examine the behavior of non-scalar features throughout training, finding a natural hierarchy of features by $l$, reminiscent of a multipole expansion. We aim for our work to ultimately inform design principles and choices of domain applications for {\tt e3nn} networks.
• Abstract（参考訳）: 等価な機械学習手法は、近年、3d学習アプリケーションで広く成功している。 これらのモデルはユークリッド空間の反射、翻訳、回転対称性を明示的に構築し、物理科学における様々な応用の精度とデータの効率を大幅に向上させた。 等変モデルに対する際立った疑問は、これらの応用において予想以上に大きな進歩を達成する理由である。 そこで本研究では,ユークリッドニューラルネットワーク(\texttt{e3nn})における高次(非スカラー)特徴の役割について検討する。 本研究では, 電子密度予測問題に対するtexttt{e3nn} のこれまで研究されてきた応用に焦点をあて, 様々な非スカラー出力が可能であり, 出力の性質(スカラー $l=0$, ベクトル $l=1$, あるいは高次 $l>1$)がネットワーク内の非スカラー隠れ特徴の有効性に関係しているかどうかを検討する。 さらに,学習を通しての非スカラー特徴の挙動を考察し,多極展開を思わせる$l$の自然な特徴階層を求める。 我々は、最終的に {\tt e3nn}ネットワークのためのドメイン・アプリケーションの設計原則と選択を知らせることを目指しています。

関連論文リスト

• Deep Neural Networks are Adaptive to Function Regularity and Data Distribution in Approximation and Estimation [8.284464143581546]
  深層ニューラルネットワークが、異なる位置とスケールにわたる関数の異なる規則性にどのように適応するかを研究する。 この結果から,深部ニューラルネットワークは関数の正則性や不均一なデータ分布に適応していることが示唆された。
  論文  参考訳（メタデータ） (2024-06-08T02:01:50Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Spelunking the Deep: Guaranteed Queries for General Neural Implicit Surfaces [35.438964954948574]
  この研究は、広範囲の既存アーキテクチャに対して、一般的なニューラル暗黙関数でクエリを直接実行するための新しいアプローチを示す。 私たちのキーとなるツールは、ニューラルネットワークへのレンジ分析の適用であり、ネットワークの出力を領域を越えてバウンドするために自動演算ルールを使用します。 得られた境界を用いて、レイキャスト、交差試験、空間階層の構築、高速メッシュ抽出、最近点評価などのクエリを開発する。
  論文  参考訳（メタデータ） (2022-02-05T00:37:08Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。