論文の概要: Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks

• arxiv url: http://arxiv.org/abs/2310.03530v1
• Date: Thu, 5 Oct 2023 13:30:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 16:14:19.811209
• Title: Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks
• Title（参考訳）: データパラメータ領域上の結合群不変関数はユニバーサルニューラルネットワークを誘導する
• Authors: Sho Sonoda, Hideyuki Ishi, Isao Ishikawa, Masahiro Ikeda
• Abstract要約: データドメイン上のグループアクションからパラメータドメイン上の2つのグループアクションを見つけるための体系的なルールを提案する。 結合不変関数から誘導される一般化ニューラルネットワークを導入する。 この研究は、幾何学的深層学習と抽象調和解析を結びつける近似理論の群論的な側面に光を当てる。
• 参考スコア（独自算出の注目度）: 14.45619075342763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The symmetry and geometry of input data are considered to be encoded in the internal data representation inside the neural network, but the specific encoding rule has been less investigated. By focusing on a joint group invariant function on the data-parameter domain, we present a systematic rule to find a dual group action on the parameter domain from a group action on the data domain. Further, we introduce generalized neural networks induced from the joint invariant functions, and present a new group theoretic proof of their universality theorems by using Schur's lemma. Since traditional universality theorems were demonstrated based on functional analytical methods, this study sheds light on the group theoretic aspect of the approximation theory, connecting geometric deep learning to abstract harmonic analysis.
• Abstract（参考訳）: 入力データの対称性と幾何学は、ニューラルネットワーク内の内部データ表現にエンコードされると考えられているが、特定のエンコーディング規則は、あまり研究されていない。 データパラメータ領域上の結合群不変関数に着目して、データ領域上のグループアクションからパラメータ領域上の2つのグループアクションを見つけるための体系的なルールを示す。 さらに、結合不変関数から誘導される一般化ニューラルネットワークを導入し、シュルの補題を用いてそれらの普遍性定理の新しい群理論的証明を示す。 従来の普遍性定理は機能解析法に基づいて実証されたため、この研究は幾何学的深層学習と抽象調和解析を結びつける近似理論の群論的な側面に光を当てる。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Affine Invariance in Continuous-Domain Convolutional Neural Networks [6.019182604573028]
  本研究では,連続領域畳み込みニューラルネットワークにおけるアフィン不変性について検討する。 アフィン変換における2つの入力信号の類似性を評価するための新しい基準を導入する。 私たちの研究は最終的には、実用的なディープラーニングパイプラインが扱える幾何学的変換の範囲を広げることができます。
  論文  参考訳（メタデータ） (2023-11-13T14:17:57Z)
• Orthogonal Transforms in Neural Networks Amount to Effective Regularization [0.0]
  非線形システム同定におけるニューラルネットワークの適用について考察する。 そのような構造が普遍近似であることを示す。 特に、フーリエ変換を用いたそのような構造は直交サポートのない同値モデルよりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-05-10T17:52:33Z)
• Universality of group convolutional neural networks based on ridgelet analysis on groups [10.05944106581306]
  グループ畳み込みニューラルネットワーク(GCNN)のリッジレット理論に基づく近似特性について検討する。 群表現間の非線形写像として多目的GCNNを定式化する。
  論文  参考訳（メタデータ） (2022-05-30T02:52:22Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Lattice gauge equivariant convolutional neural networks [0.0]
  汎用機械学習アプリケーションのためのLattice gauge equivariant Convolutional Neural Networks (L-CNNs)を提案する。 L-CNNは従来の畳み込みニューラルネットワークでは見つけられないゲージ不変量を学習・一般化できることを示した。
  論文  参考訳（メタデータ） (2020-12-23T19:00:01Z)
• A Computationally Efficient Neural Network Invariant to the Action of Symmetry Subgroups [12.654871396334668]
  新しい$G$不変変換モジュールは入力データの$G$不変潜在表現を生成する。 この潜在表現は、ネットワーク内の多層パーセプトロンで処理される。 提案するアーキテクチャの普遍性を証明し,その特性を議論し,計算とメモリ効率を強調する。
  論文  参考訳（メタデータ） (2020-02-18T12:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。