論文の概要: Embeddings between Barron spaces with higher order activation functions

• arxiv url: http://arxiv.org/abs/2305.15839v2
• Date: Tue, 18 Jun 2024 08:33:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 05:23:38.705540
• Title: Embeddings between Barron spaces with higher order activation functions
• Title（参考訳）: 高次活性化関数を持つバロン空間間の埋め込み
• Authors: Tjeerd Jan Heeringa, Len Spek, Felix Schwenninger, Christoph Brune,
• Abstract要約: 活性化関数の異なるバロン空間間の埋め込みについて検討する。 特定の関心の活性化関数は、$operatornameRePU_s(x)=max(0,x)s$によって与えられる整流電力単位(operatornameRePU$)である。
• 参考スコア（独自算出の注目度）: 1.0999592665107414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The approximation properties of infinitely wide shallow neural networks heavily depend on the choice of the activation function. To understand this influence, we study embeddings between Barron spaces with different activation functions. These embeddings are proven by providing push-forward maps on the measures $\mu$ used to represent functions $f$. An activation function of particular interest is the rectified power unit ($\operatorname{RePU}$) given by $\operatorname{RePU}_s(x)=\max(0,x)^s$. For many commonly used activation functions, the well-known Taylor remainder theorem can be used to construct a push-forward map, which allows us to prove the embedding of the associated Barron space into a Barron space with a $\operatorname{RePU}$ as activation function. Moreover, the Barron spaces associated with the $\operatorname{RePU}_s$ have a hierarchical structure similar to the Sobolev spaces $H^m$.
• Abstract（参考訳）: 無限に広い浅層ニューラルネットワークの近似特性は、活性化関数の選択に大きく依存する。 この影響を理解するために、異なる活性化関数を持つバロン空間間の埋め込みについて検討する。 これらの埋め込みは、関数の$f$を表すために使われる$\mu$に関するプッシュフォワードマップを提供することによって証明される。 特定の利害関係の活性化関数は、$\operatorname{RePU}_s(x)=\max(0,x)^s$ によって与えられる整流電力単位 ("\operatorname{RePU}$) である。 多くのよく使われる活性化函数に対して、テイラー剰余定理(英語版)はプッシュフォワード写像(英語版)(push-forward map)を構築するのに使えるので、活性化函数として$\operatorname{RePU}$のバロン空間への関連するバロン空間の埋め込みを証明できる。 さらに、$\operatorname{RePU}_s$ に関連するバロン空間は、ソボレフ空間 $H^m$ と同様の階層構造を持つ。

関連論文リスト

• Shift-invariant functions and almost liftings [0.0]
  我々は、$k$bits 上のブール関数から持ち上げられる$n$bits 上のシフト不変ベクトルブール関数を $kleq n$ に対して検討する。 直径$k$のブール関数がほぼ持ち上げである場合、その持ち上げ関数の最大衝突回数は、任意の$n$に対して2k-1$であることを示す。 暗号特性が良好で、非客観性が重大なセキュリティ上の弱点を生じさせないような、ほとんど持ち上げのクラスの関数を探索する。
  論文  参考訳（メタデータ） (2024-07-16T17:23:27Z)
• Representing Piecewise-Linear Functions by Functions with Minimal Arity [0.5266869303483376]
  入力空間 $mathbbRn$ の関数 $F$ によるテッセルレーションは、$max$ 関数の引数の数に直結することを示す。
  論文  参考訳（メタデータ） (2024-06-04T15:39:08Z)
• On dimensionality of feature vectors in MPNNs [49.32130498861987]
  我々は、メッセージパッシンググラフニューラルネットワーク(MPNN)がWeisfeiler--Leman(WL)同型テストに対する識別力に等しいというモリスら(AAAI'19)の古典的な結果を再考する。
  論文  参考訳（メタデータ） (2024-02-06T12:56:55Z)
• 1-Lipschitz Neural Networks are more expressive with N-Activations [19.858602457988194]
  システムの入力に対する小さな変更は、出力に大きな変更をもたらすべきではない。 MaxMinのようなよく使われるアクティベーション関数は、不必要に表現可能な関数のクラスを制限する。 現在普及しているアクティベーション関数よりも明らかに表現力が高い新しいN-アクティベーション関数を導入する。
  論文  参考訳（メタデータ） (2023-11-10T15:12:04Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• The Sample Complexity of Online Contract Design [120.9833763323407]
  オンライン環境での隠れアクションの主エージェント問題について検討する。 各ラウンドにおいて、主席は、各結果に基づいてエージェントへの支払いを指定する契約を投稿する。 エージェントは、自身のユーティリティを最大化する戦略的な行動選択を行うが、プリンシパルによって直接観察できない。
  論文  参考訳（メタデータ） (2022-11-10T17:59:42Z)
• Exponential Separation between Quantum and Classical Ordered Binary Decision Diagrams, Reordering Method and Hierarchies [68.93512627479197]
  量子順序付き二項決定図($OBDD$)モデルについて検討する。 入力変数の任意の順序で、OBDDの下位境界と上位境界を証明します。 read$k$-times Ordered Binary Decision Diagrams (k$-OBDD$)の幅の階層を拡張します。
  論文  参考訳（メタデータ） (2022-04-22T12:37:56Z)
• Logical Activation Functions: Logit-space equivalents of Boolean Operators [4.577830474623795]
  ニューラルネットワークのアクティベーション関数としてデプロイ可能な,$textAND_textAIL$という効率的な近似を導入する。 画像分類,伝達学習,抽象的推論,合成ゼロショット学習など,様々なタスクにおいて有効性を示す。
  論文  参考訳（メタデータ） (2021-10-22T17:49:42Z)
• Neural networks with superexpressive activations and integer weights [91.3755431537592]
  アクティベーション関数の例 $sigma$ は、アクティベーションを持つネットワーク $sigma, lfloorcdotrfloor$, integer weights と固定アーキテクチャが与えられる。 より古い連続関数の $varepsilon$-approximation に必要な整数ウェイトの範囲が導出される。
  論文  参考訳（メタデータ） (2021-05-20T17:29:08Z)
• Representation formulas and pointwise properties for Barron functions [8.160343645537106]
  ReLU活性化を伴う無限広2層ニューラルネットワークの自然関数空間(バロン空間)について検討する。 特異集合がフラクタルあるいは湾曲した関数は、有限経路ノルムを持つ無限に広い2層ネットワークでは表現できないことを示す。 この結果は、2層ニューラルネットワークが一般的に信じられているよりも多種多様な機能を近似できる可能性を示唆している。
  論文  参考訳（メタデータ） (2020-06-10T17:55:31Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。