論文の概要: Constructive Universal Approximation Theorems for Deep Joint-Equivariant Networks by Schur's Lemma

• arxiv url: http://arxiv.org/abs/2405.13682v1
• Date: Wed, 22 May 2024 14:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:54:52.775342
• Title: Constructive Universal Approximation Theorems for Deep Joint-Equivariant Networks by Schur's Lemma
• Title（参考訳）: Schur's Lemmaによる深部結合同変ネットワークの構成的普遍近似理論
• Authors: Sho Sonoda, Yuka Hashimoto, Isao Ishikawa, Masahiro Ikeda,
• Abstract要約: 本稿では,幅広い学習機械をカバーする統一的構成的普遍近似定理を提案する。 パラメータの分布は閉形式式(リッジレット変換と呼ばれる)で与えられる 我々は,ベクトル値付き共同群同変特徴写像の手法を拡張し,そのような実ネットワークをカバーする。
• 参考スコア（独自算出の注目度）: 15.67299102925013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a unified constructive universal approximation theorem covering a wide range of learning machines including both shallow and deep neural networks based on the group representation theory. Constructive here means that the distribution of parameters is given in a closed-form expression (called the ridgelet transform). Contrary to the case of shallow models, expressive power analysis of deep models has been conducted in a case-by-case manner. Recently, Sonoda et al. (2023a,b) developed a systematic method to show a constructive approximation theorem from scalar-valued joint-group-invariant feature maps, covering a formal deep network. However, each hidden layer was formalized as an abstract group action, so it was not possible to cover real deep networks defined by composites of nonlinear activation function. In this study, we extend the method for vector-valued joint-group-equivariant feature maps, so to cover such real networks.
• Abstract（参考訳）: 群表現理論に基づく浅層ニューラルネットワークと深層ニューラルネットワークを含む幅広い学習機械をカバーする統一的構成的普遍近似定理を提案する。 ここでの構成は、パラメータの分布が閉形式式(リッジレット変換と呼ばれる)で与えられることを意味する。 浅部モデルとは対照的に,深部モデルの表現力解析はケースバイケース方式で行われている。 最近、Sonoda et al (2023a,b) は、スカラー値の合同群不変特徴写像から構成的近似定理を示す体系的な方法を開発し、形式的な深層ネットワークをカバーした。 しかし, 各隠蔽層は抽象群作用として形式化され, 非線形活性化関数の合成によって定義された実深層ネットワークをカバーできなかった。 本研究では,ベクトル値付き共同グループ同変特徴写像の手法を拡張し,そのような実ネットワークを網羅する。

関連論文リスト

• Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry [3.0518581575184225]
  我々は、群 $G$ に関する不変写像と同変写像の関係の理論を発展させる。 我々は、この理論をグループ対称性を持つディープニューラルネットワークの文脈で活用し、それらのメカニズムに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-09-25T13:27:41Z)
• Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks [14.45619075342763]
  本稿では、一般化されたニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する体系的手法を提案する。 リッジレット変換は逆であるため、対象関数を表すためにネットワークのパラメータの配置を記述することができる。 より広い階層のネットワークを包含する統一的な方法でシュルの補題を用いて、普遍性の新たな単純な証明を示す。
  論文  参考訳（メタデータ） (2023-10-05T13:30:37Z)
• A Toy Model of Universality: Reverse Engineering How Networks Learn Group Operations [0.0]
  我々は,小人数のニューラルネットワークが集団構成の実装をどのように学習するかを検討することによって,普遍性仮説を検証した。 本稿では,ニューラルネットワークが任意の有限群の合成を数学的表現理論によって実装できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-06T18:59:20Z)
• Extending the Universal Approximation Theorem for a Broad Class of Hypercomplex-Valued Neural Networks [1.0323063834827413]
  普遍近似定理は、単一の隠れ層ニューラルネットワークがコンパクト集合上の任意の所望の精度で連続関数を近似すると主張する。 本稿では,超複素数値ニューラルネットワークの広範クラスに対する普遍近似定理を拡張した。
  論文  参考訳（メタデータ） (2022-09-06T12:45:15Z)
• Full network nonlocality [68.8204255655161]
  ネットワーク内のすべてのリンクが非ローカルリソースを分散するために必要となる相関関係を記述した完全ネットワーク非ローカル性の概念を導入する。 最もよく知られているネットワークベル試験では,ネットワークの非局所性は見られていない。 より一般に、ネットワーク内の局所的および理論に依存しない相関を解析するための確立された手法は、完全なネットワーク非局所性のための十分な条件を導出するために組み合わせることができると指摘する。
  論文  参考訳（メタデータ） (2021-05-19T18:00:02Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)
• MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
  本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-30T15:38:37Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Complex networks with tuneable dimensions as a universality playground [0.0]
  本稿では,普遍性,スペクトル次元に対する基本的ネットワークパラメータの役割について論じる。 明示的な計算により、このモデルのスペクトル次元が1ドルから無限大まで連続的に調整できることが証明される。 非均質構造上の普遍的挙動を探索するツールとしての我々のモデルを提案し、そのようなネットワーク上の相関モデルの普遍的挙動が、分数ユークリッド次元における連続場理論の1つを模倣する可能性についてコメントする。
  論文  参考訳（メタデータ） (2020-06-18T10:56:41Z)
• On Infinite-Width Hypernetworks [101.03630454105621]
  我々は、ハイパーネットワークが、下降中のグローバルなミニマを保証していないことを示す。 我々は,これらのアーキテクチャの機能的先行を,対応するGPカーネルとNTKカーネルを導出することによって同定する。 この研究の一環として、標準完全連結ReLUネットワークの高次テイラー項の厳密な境界を導出した数学的貢献を行う。
  論文  参考訳（メタデータ） (2020-03-27T00:50:29Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。