論文の概要: Constructive Universal Approximation Theorems for Deep Joint-Equivariant Networks by Schur's Lemma

• arxiv url: http://arxiv.org/abs/2405.13682v1
• Date: Wed, 22 May 2024 14:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:54:52.775342
• Title: Constructive Universal Approximation Theorems for Deep Joint-Equivariant Networks by Schur's Lemma
• Title（参考訳）: Schur's Lemmaによる深部結合同変ネットワークの構成的普遍近似理論
• Authors: Sho Sonoda, Yuka Hashimoto, Isao Ishikawa, Masahiro Ikeda,
• Abstract要約: 本稿では,幅広い学習機械をカバーする統一的構成的普遍近似定理を提案する。 パラメータの分布は閉形式式(リッジレット変換と呼ばれる)で与えられる 我々は,ベクトル値付き共同群同変特徴写像の手法を拡張し,そのような実ネットワークをカバーする。
• 参考スコア（独自算出の注目度）: 15.67299102925013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a unified constructive universal approximation theorem covering a wide range of learning machines including both shallow and deep neural networks based on the group representation theory. Constructive here means that the distribution of parameters is given in a closed-form expression (called the ridgelet transform). Contrary to the case of shallow models, expressive power analysis of deep models has been conducted in a case-by-case manner. Recently, Sonoda et al. (2023a,b) developed a systematic method to show a constructive approximation theorem from scalar-valued joint-group-invariant feature maps, covering a formal deep network. However, each hidden layer was formalized as an abstract group action, so it was not possible to cover real deep networks defined by composites of nonlinear activation function. In this study, we extend the method for vector-valued joint-group-equivariant feature maps, so to cover such real networks.
• Abstract（参考訳）: 群表現理論に基づく浅層ニューラルネットワークと深層ニューラルネットワークを含む幅広い学習機械をカバーする統一的構成的普遍近似定理を提案する。 ここでの構成は、パラメータの分布が閉形式式(リッジレット変換と呼ばれる)で与えられることを意味する。 浅部モデルとは対照的に,深部モデルの表現力解析はケースバイケース方式で行われている。 最近、Sonoda et al (2023a,b) は、スカラー値の合同群不変特徴写像から構成的近似定理を示す体系的な方法を開発し、形式的な深層ネットワークをカバーした。 しかし, 各隠蔽層は抽象群作用として形式化され, 非線形活性化関数の合成によって定義された実深層ネットワークをカバーできなかった。 本研究では,ベクトル値付き共同グループ同変特徴写像の手法を拡張し,そのような実ネットワークを網羅する。

関連論文リスト

• Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry [3.0518581575184225]
  我々は、群 $G$ に関する不変写像と同変写像の関係の理論を発展させる。 我々は、この理論をグループ対称性を持つディープニューラルネットワークの文脈で活用し、それらのメカニズムに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-09-25T13:27:41Z)
• Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks [14.45619075342763]
  本稿では、一般化されたニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する体系的手法を提案する。 リッジレット変換は逆であるため、対象関数を表すためにネットワークのパラメータの配置を記述することができる。 より広い階層のネットワークを包含する統一的な方法でシュルの補題を用いて、普遍性の新たな単純な証明を示す。
  論文  参考訳（メタデータ） (2023-10-05T13:30:37Z)
• A PAC-Bayesian Generalization Bound for Equivariant Networks [15.27608414735815]
  我々は、同変ネットワークに対するノルムベースのPAC-ベイジアン一般化境界を導出する。 境界は、群のサイズ、および一般化誤差に対する可約表現の多重度と次数の影響を特徴づける。 一般に、モデルにおけるより大きなグループサイズを用いることで、広範な数値実験によって証明された一般化誤差が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:07:03Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds [70.32518963244466]
  平坦空間と比較して大きな複雑さは、コンボリューション核が多様体にどのようなアライメントを適用するべきかが不明確であることである。 コーディネート化の特定の選択は、ネットワークの推論に影響を与えるべきではない、と我々は主張する。 座標独立と重み共有の同時要求は、ネットワーク上の同変要求をもたらす。
  論文  参考訳（メタデータ） (2021-06-10T19:54:19Z)
• Universal Approximation Theorem for Equivariant Maps by Group CNNs [14.810452619505137]
  本稿では,CNNによる同値写像の普遍近似定理の統一手法を提案する。 その大きな利点として、非コンパクト群に対する無限次元空間間の非線形同変写像を扱うことができる。
  論文  参考訳（メタデータ） (2020-12-27T07:09:06Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
  本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-30T15:38:37Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Complex networks with tuneable dimensions as a universality playground [0.0]
  本稿では,普遍性,スペクトル次元に対する基本的ネットワークパラメータの役割について論じる。 明示的な計算により、このモデルのスペクトル次元が1ドルから無限大まで連続的に調整できることが証明される。 非均質構造上の普遍的挙動を探索するツールとしての我々のモデルを提案し、そのようなネットワーク上の相関モデルの普遍的挙動が、分数ユークリッド次元における連続場理論の1つを模倣する可能性についてコメントする。
  論文  参考訳（メタデータ） (2020-06-18T10:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。