論文の概要: Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines

• arxiv url: http://arxiv.org/abs/2405.13682v3
• Date: Sun, 01 Dec 2024 16:49:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:55:56.182829
• Title: Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines
• Title（参考訳）: 深部・浅部結合群同変機の統一普遍性理論
• Authors: Sho Sonoda, Yuka Hashimoto, Isao Ishikawa, Masahiro Ikeda,
• Abstract要約: ここでの「構成的」は、パラメータの分布が、リッジレット変換として知られる閉形式式で与えられることを示している。 我々の主定理はまた、浅いネットワークと深いネットワークの両方に対する普遍近似定理を統一する。
• 参考スコア（独自算出の注目度）: 15.67299102925013
• License:
• Abstract: We present a constructive universal approximation theorem for learning machines equipped with joint-group-equivariant feature maps, called the joint-equivariant machines, based on the group representation theory. "Constructive" here indicates that the distribution of parameters is given in a closed-form expression known as the ridgelet transform. Joint-group-equivariance encompasses a broad class of feature maps that generalize classical group-equivariance. Particularly, fully-connected networks are not group-equivariant but are joint-group-equivariant. Our main theorem also unifies the universal approximation theorems for both shallow and deep networks. Until this study, the universality of deep networks has been shown in a different manner from the universality of shallow networks, but our results discuss them on common ground. Now we can understand the approximation schemes of various learning machines in a unified manner. As applications, we show the constructive universal approximation properties of four examples: depth-$n$ joint-equivariant machine, depth-$n$ fully-connected network, depth-$n$ group-convolutional network, and a new depth-$2$ network with quadratic forms whose universality has not been known.
• Abstract（参考訳）: 本稿では, 群表現理論に基づいて, 共同群同変特徴写像を備えた学習機械に対する構成的普遍近似定理を提案する。 ここでの「構成的」は、パラメータの分布が、リッジレット変換として知られる閉形式式で与えられることを示している。 結合群-等分散は、古典群-等分散を一般化する広範な特徴写像のクラスを含む。 特に、完全連結ネットワークは群同変ではなく、結合群同変である。 我々の主定理はまた、浅いネットワークと深いネットワークの両方に対する普遍近似定理を統一する。 本研究まで,深層ネットワークの普遍性は浅層ネットワークの普遍性とは異なる方法で示されてきたが,本研究の結果は共通基盤で議論されている。 今では、様々な学習機械の近似スキームを統一的に理解することができる。 応用として、Defense-$n$ joint-equivariant machine, depth-$n$ full-connect network, depth-$n$ group-convolutional network, and a new depth-$2$ form with universality has not known。

関連論文リスト

• Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry [3.0518581575184225]
  我々は、群 $G$ に関する不変写像と同変写像の関係の理論を発展させる。 我々は、この理論をグループ対称性を持つディープニューラルネットワークの文脈で活用し、それらのメカニズムに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-09-25T13:27:41Z)
• Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks [14.45619075342763]
  本稿では、一般化されたニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する体系的手法を提案する。 リッジレット変換は逆であるため、対象関数を表すためにネットワークのパラメータの配置を記述することができる。 より広い階層のネットワークを包含する統一的な方法でシュルの補題を用いて、普遍性の新たな単純な証明を示す。
  論文  参考訳（メタデータ） (2023-10-05T13:30:37Z)
• A PAC-Bayesian Generalization Bound for Equivariant Networks [15.27608414735815]
  我々は、同変ネットワークに対するノルムベースのPAC-ベイジアン一般化境界を導出する。 境界は、群のサイズ、および一般化誤差に対する可約表現の多重度と次数の影響を特徴づける。 一般に、モデルにおけるより大きなグループサイズを用いることで、広範な数値実験によって証明された一般化誤差が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:07:03Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds [70.32518963244466]
  平坦空間と比較して大きな複雑さは、コンボリューション核が多様体にどのようなアライメントを適用するべきかが不明確であることである。 コーディネート化の特定の選択は、ネットワークの推論に影響を与えるべきではない、と我々は主張する。 座標独立と重み共有の同時要求は、ネットワーク上の同変要求をもたらす。
  論文  参考訳（メタデータ） (2021-06-10T19:54:19Z)
• Universal Approximation Theorem for Equivariant Maps by Group CNNs [14.810452619505137]
  本稿では,CNNによる同値写像の普遍近似定理の統一手法を提案する。 その大きな利点として、非コンパクト群に対する無限次元空間間の非線形同変写像を扱うことができる。
  論文  参考訳（メタデータ） (2020-12-27T07:09:06Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
  本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-30T15:38:37Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Complex networks with tuneable dimensions as a universality playground [0.0]
  本稿では,普遍性,スペクトル次元に対する基本的ネットワークパラメータの役割について論じる。 明示的な計算により、このモデルのスペクトル次元が1ドルから無限大まで連続的に調整できることが証明される。 非均質構造上の普遍的挙動を探索するツールとしての我々のモデルを提案し、そのようなネットワーク上の相関モデルの普遍的挙動が、分数ユークリッド次元における連続場理論の1つを模倣する可能性についてコメントする。
  論文  参考訳（メタデータ） (2020-06-18T10:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。