論文の概要: Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks

• arxiv url: http://arxiv.org/abs/2310.03530v2
• Date: Mon, 13 Nov 2023 11:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 20:27:36.022885
• Title: Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks
• Title（参考訳）: データパラメータ領域上の結合群不変関数はユニバーサルニューラルネットワークを誘導する
• Authors: Sho Sonoda, Hideyuki Ishi, Isao Ishikawa, Masahiro Ikeda
• Abstract要約: 本稿では、一般化されたニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する体系的手法を提案する。 リッジレット変換は逆であるため、対象関数を表すためにネットワークのパラメータの配置を記述することができる。 より広い階層のネットワークを包含する統一的な方法でシュルの補題を用いて、普遍性の新たな単純な証明を示す。
• 参考スコア（独自算出の注目度）: 14.45619075342763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The symmetry and geometry of input data are considered to be encoded in the internal data representation inside the neural network, but the specific encoding rule has been less investigated. In this study, we present a systematic method to induce a generalized neural network and its right inverse operator, called the ridgelet transform, from a joint group invariant function on the data-parameter domain. Since the ridgelet transform is an inverse, (1) it can describe the arrangement of parameters for the network to represent a target function, which is understood as the encoding rule, and (2) it implies the universality of the network. Based on the group representation theory, we present a new simple proof of the universality by using Schur's lemma in a unified manner covering a wide class of networks, for example, the original ridgelet transform, formal deep networks, and the dual voice transform. Since traditional universality theorems were demonstrated based on functional analysis, this study sheds light on the group theoretic aspect of the approximation theory, connecting geometric deep learning to abstract harmonic analysis.
• Abstract（参考訳）: 入力データの対称性と幾何学は、ニューラルネットワーク内の内部データ表現にエンコードされると考えられているが、特定のエンコーディング規則は、あまり研究されていない。 本研究では,データパラメータ領域上の結合群不変関数から一般化ニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する系統的手法を提案する。 リッジレット変換は逆であるため、(1)対象関数を表すためにネットワークのパラメータの配置を記述することができ、(2)符号化規則として理解され、(2)ネットワークの普遍性を意味する。 群表現理論に基づいて、スカーの補題を、元のリッジレット変換、形式的深層ネットワーク、二重声変換など、幅広い種類のネットワークをカバーする統一的な方法で用いることにより、普遍性の新たな簡単な証明を示す。 従来の普遍性定理は関数解析に基づいて証明されたため、この研究は近似理論の群論的な側面に光を当て、幾何学的深層学習と抽象調和解析を結びつける。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Affine Invariance in Continuous-Domain Convolutional Neural Networks [6.019182604573028]
  本研究では,連続領域畳み込みニューラルネットワークにおけるアフィン不変性について検討する。 アフィン変換における2つの入力信号の類似性を評価するための新しい基準を導入する。 私たちの研究は最終的には、実用的なディープラーニングパイプラインが扱える幾何学的変換の範囲を広げることができます。
  論文  参考訳（メタデータ） (2023-11-13T14:17:57Z)
• Orthogonal Transforms in Neural Networks Amount to Effective Regularization [0.0]
  非線形システム同定におけるニューラルネットワークの適用について考察する。 そのような構造が普遍近似であることを示す。 特に、フーリエ変換を用いたそのような構造は直交サポートのない同値モデルよりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-05-10T17:52:33Z)
• Universality of group convolutional neural networks based on ridgelet analysis on groups [10.05944106581306]
  グループ畳み込みニューラルネットワーク(GCNN)のリッジレット理論に基づく近似特性について検討する。 群表現間の非線形写像として多目的GCNNを定式化する。
  論文  参考訳（メタデータ） (2022-05-30T02:52:22Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Lattice gauge equivariant convolutional neural networks [0.0]
  汎用機械学習アプリケーションのためのLattice gauge equivariant Convolutional Neural Networks (L-CNNs)を提案する。 L-CNNは従来の畳み込みニューラルネットワークでは見つけられないゲージ不変量を学習・一般化できることを示した。
  論文  参考訳（メタデータ） (2020-12-23T19:00:01Z)
• A Computationally Efficient Neural Network Invariant to the Action of Symmetry Subgroups [12.654871396334668]
  新しい$G$不変変換モジュールは入力データの$G$不変潜在表現を生成する。 この潜在表現は、ネットワーク内の多層パーセプトロンで処理される。 提案するアーキテクチャの普遍性を証明し,その特性を議論し,計算とメモリ効率を強調する。
  論文  参考訳（メタデータ） (2020-02-18T12:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。