論文の概要: Constructive Universal Approximation Theorems for Deep Joint-Equivariant Networks by Schur's Lemma

• arxiv url: http://arxiv.org/abs/2405.13682v1
• Date: Wed, 22 May 2024 14:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:54:52.775342
• Title: Constructive Universal Approximation Theorems for Deep Joint-Equivariant Networks by Schur's Lemma
• Title（参考訳）: Schur's Lemmaによる深部結合同変ネットワークの構成的普遍近似理論
• Authors: Sho Sonoda, Yuka Hashimoto, Isao Ishikawa, Masahiro Ikeda,
• Abstract要約: 本稿では,幅広い学習機械をカバーする統一的構成的普遍近似定理を提案する。 パラメータの分布は閉形式式(リッジレット変換と呼ばれる)で与えられる 我々は,ベクトル値付き共同群同変特徴写像の手法を拡張し,そのような実ネットワークをカバーする。
• 参考スコア（独自算出の注目度）: 15.67299102925013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a unified constructive universal approximation theorem covering a wide range of learning machines including both shallow and deep neural networks based on the group representation theory. Constructive here means that the distribution of parameters is given in a closed-form expression (called the ridgelet transform). Contrary to the case of shallow models, expressive power analysis of deep models has been conducted in a case-by-case manner. Recently, Sonoda et al. (2023a,b) developed a systematic method to show a constructive approximation theorem from scalar-valued joint-group-invariant feature maps, covering a formal deep network. However, each hidden layer was formalized as an abstract group action, so it was not possible to cover real deep networks defined by composites of nonlinear activation function. In this study, we extend the method for vector-valued joint-group-equivariant feature maps, so to cover such real networks.
• Abstract（参考訳）: 群表現理論に基づく浅層ニューラルネットワークと深層ニューラルネットワークを含む幅広い学習機械をカバーする統一的構成的普遍近似定理を提案する。 ここでの構成は、パラメータの分布が閉形式式(リッジレット変換と呼ばれる)で与えられることを意味する。 浅部モデルとは対照的に,深部モデルの表現力解析はケースバイケース方式で行われている。 最近、Sonoda et al (2023a,b) は、スカラー値の合同群不変特徴写像から構成的近似定理を示す体系的な方法を開発し、形式的な深層ネットワークをカバーした。 しかし, 各隠蔽層は抽象群作用として形式化され, 非線形活性化関数の合成によって定義された実深層ネットワークをカバーできなかった。 本研究では,ベクトル値付き共同グループ同変特徴写像の手法を拡張し,そのような実ネットワークを網羅する。

関連論文リスト

• Feature learning in finite-width Bayesian deep linear networks with multiple outputs and convolutional layers [39.71511919246829]
  深い線形ネットワークは広く研究されているが、複数の出力と畳み込み層を持つ有限幅アーキテクチャの場合はほとんど知られていない。 我々の研究は、この物理学の直観と用語を厳密なベイズ統計に翻訳する辞書を提供する。
  論文  参考訳（メタデータ） (2024-06-05T13:37:42Z)
• Pushing Boundaries: Mixup's Influence on Neural Collapse [3.6919724596215615]
  Mixupは、深層ニューラルネットワークの堅牢性とキャリブレーションを強化するために、トレーニングインスタンスと各ラベルの凸結合を利用するデータ拡張戦略である。 本研究では,ミックスアップを受ける深層ネットワークにおけるトレーニングデータの最終層活性化について検討した。 ここでは,Mixupの最終層活性化が,期待と異なる独特の構成に主に収束していることを示す。
  論文  参考訳（メタデータ） (2024-02-09T04:01:25Z)
• Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks [14.45619075342763]
  本稿では、一般化されたニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する体系的手法を提案する。 リッジレット変換は逆であるため、対象関数を表すためにネットワークのパラメータの配置を記述することができる。 より広い階層のネットワークを包含する統一的な方法でシュルの補題を用いて、普遍性の新たな単純な証明を示す。
  論文  参考訳（メタデータ） (2023-10-05T13:30:37Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)
• MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
  本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-30T15:38:37Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• Consistency of Spectral Clustering on Hierarchical Stochastic Block Models [5.983753938303726]
  実世界のネットワークにおけるコミュニティの階層構造について,汎用ブロックモデルを用いて検討する。 本手法の強い一貫性を,幅広いモデルパラメータで証明する。 既存のほとんどの研究とは異なり、我々の理論は接続確率が桁違いに異なるかもしれないマルチスケールネットワークをカバーしている。
  論文  参考訳（メタデータ） (2020-04-30T01:08:59Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)
• Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations [40.384018112884874]
  より浅いネットワークによって引き起こされる関数空間に類似した分布を誘導できることを示す。 以上の結果から,より深いモデルにおける平均場変動推定は,構造化近似に対する実用的かつ理論的に妥当な代替手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-02-10T13:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。