Fugu-MT 論文翻訳(概要): Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines

論文の概要: Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines

arxiv url: http://arxiv.org/abs/2405.13682v2
Date: Thu, 03 Oct 2024 01:12:35 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-05 03:34:36.598811
Title: Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines
Title（参考訳）: 深部・浅部結合群同変機の統一普遍性理論
Authors: Sho Sonoda, Yuka Hashimoto, Isao Ishikawa, Masahiro Ikeda,
Abstract要約: 共同群同変特徴写像を備えた学習機械に対する構成的普遍近似定理を提案する。我々の主定理はまた、浅いネットワークと深いネットワークの両方に対する普遍近似定理を統一する。
参考スコア（独自算出の注目度）: 15.67299102925013
License:
Abstract: We present a constructive universal approximation theorem for learning machines equipped with joint-group-equivariant feature maps, based on the group representation theory. ``Constructive'' here indicates that the distribution of parameters is given in a closed-form expression known as the ridgelet transform. Joint-group-equivariance encompasses a broad class of feature maps that generalize classical group-equivariance. Notably, this class includes fully-connected networks, which are not group-equivariant but are joint-group-equivariant. Moreover, our main theorem also unifies the universal approximation theorems for both shallow and deep networks. While the universality of shallow networks has been investigated in a unified manner by the ridgelet transform, the universality of deep networks has been investigated in a case-by-case manner.
Abstract（参考訳）: 本稿では,グループ表現理論に基づく共同群同変特徴写像を備えた学習機械に対する構成的普遍近似定理を提案する。ここでの ``Constructive'' は、パラメータの分布が、リッジレット変換として知られる閉形式式で与えられることを示している。結合群-等分散は、古典群-等分散を一般化する広範な特徴写像のクラスを含む。特に、このクラスは完全連結ネットワークを含み、群同変ではないが、結合群同変である。さらに、我々の主定理は、浅いネットワークと深いネットワークの両方に対する普遍近似定理を統一する。浅いネットワークの普遍性は、リッジレット変換によって統一的に研究されているが、ディープネットワークの普遍性はケースバイケース方式で調査されている。

関連論文リスト

Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry [3.0518581575184225]
我々は、群 $G$ に関する不変写像と同変写像の関係の理論を発展させる。我々は、この理論をグループ対称性を持つディープニューラルネットワークの文脈で活用し、それらのメカニズムに関する新たな洞察を得る。
論文参考訳（メタデータ） (2024-09-25T13:27:41Z)
Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks [14.45619075342763]
本稿では、一般化されたニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する体系的手法を提案する。リッジレット変換は逆であるため、対象関数を表すためにネットワークのパラメータの配置を記述することができる。より広い階層のネットワークを包含する統一的な方法でシュルの補題を用いて、普遍性の新たな単純な証明を示す。
論文参考訳（メタデータ） (2023-10-05T13:30:37Z)
A PAC-Bayesian Generalization Bound for Equivariant Networks [15.27608414735815]
我々は、同変ネットワークに対するノルムベースのPAC-ベイジアン一般化境界を導出する。境界は、群のサイズ、および一般化誤差に対する可約表現の多重度と次数の影響を特徴づける。一般に、モデルにおけるより大きなグループサイズを用いることで、広範な数値実験によって証明された一般化誤差が向上することを示す。
論文参考訳（メタデータ） (2022-10-24T12:07:03Z)
Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文参考訳（メタデータ） (2022-09-22T11:19:45Z)
The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文参考訳（メタデータ） (2022-02-13T07:12:02Z)
Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds [70.32518963244466]
平坦空間と比較して大きな複雑さは、コンボリューション核が多様体にどのようなアライメントを適用するべきかが不明確であることである。コーディネート化の特定の選択は、ネットワークの推論に影響を与えるべきではない、と我々は主張する。座標独立と重み共有の同時要求は、ネットワーク上の同変要求をもたらす。
論文参考訳（メタデータ） (2021-06-10T19:54:19Z)
Universal Approximation Theorem for Equivariant Maps by Group CNNs [14.810452619505137]
本稿では,CNNによる同値写像の普遍近似定理の統一手法を提案する。その大きな利点として、非コンパクト群に対する無限次元空間間の非線形同変写像を扱うことができる。
論文参考訳（メタデータ） (2020-12-27T07:09:06Z)
LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文参考訳（メタデータ） (2020-12-20T11:02:49Z)
MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
論文参考訳（メタデータ） (2020-06-30T15:38:37Z)
Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
論文参考訳（メタデータ） (2020-06-20T02:07:37Z)
Complex networks with tuneable dimensions as a universality playground [0.0]
本稿では,普遍性,スペクトル次元に対する基本的ネットワークパラメータの役割について論じる。明示的な計算により、このモデルのスペクトル次元が1ドルから無限大まで連続的に調整できることが証明される。非均質構造上の普遍的挙動を探索するツールとしての我々のモデルを提案し、そのようなネットワーク上の相関モデルの普遍的挙動が、分数ユークリッド次元における連続場理論の1つを模倣する可能性についてコメントする。
論文参考訳（メタデータ） (2020-06-18T10:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。