論文の概要: Function-Space Optimality of Neural Architectures With Multivariate Nonlinearities

• arxiv url: http://arxiv.org/abs/2310.03696v2
• Date: Wed, 6 Dec 2023 12:30:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 18:14:58.922569
• Title: Function-Space Optimality of Neural Architectures With Multivariate Nonlinearities
• Title（参考訳）: 多変量非線形性を有するニューラルネットワークの関数空間最適性
• Authors: Rahul Parhi and Michael Unser
• Abstract要約: 我々は、バナッハ空間上の学習問題に対する解集合が、非線形性を持つニューラルアーキテクチャによって完全に特徴づけられることを示す代表者定理を証明した。 我々の結果は、データに基づいてトレーニングされたニューラルネットワークによって学習された関数の規則性に光を当て、実際に見つかったいくつかのアーキテクチャ選択に対する新たな理論的動機を与えました。
• 参考スコア（独自算出の注目度）: 30.762063524541638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the function-space optimality (specifically, the Banach-space optimality) of a large class of shallow neural architectures with multivariate nonlinearities/activation functions. To that end, we construct a new family of Banach spaces defined via a regularization operator, the $k$-plane transform, and a sparsity-promoting norm. We prove a representer theorem that states that the solution sets to learning problems posed over these Banach spaces are completely characterized by neural architectures with multivariate nonlinearities. These optimal architectures have skip connections and are tightly connected to orthogonal weight normalization and multi-index models, both of which have received recent interest in the neural network community. Our framework is compatible with a number of classical nonlinearities including the rectified linear unit (ReLU) activation function, the norm activation function, and the radial basis functions found in the theory of thin-plate/polyharmonic splines. We also show that the underlying spaces are special instances of reproducing kernel Banach spaces and variation spaces. Our results shed light on the regularity of functions learned by neural networks trained on data, particularly with multivariate nonlinearities, and provide new theoretical motivation for several architectural choices found in practice.
• Abstract（参考訳）: 多変量非線形性/活性化関数を持つ浅層ニューラルネットワークの関数空間最適性(具体的にはバナッハ空間最適性)について検討する。 この目的のために、我々は正規化作用素、$k$-平面変換、およびスパーシティ・プロモーティングノルムを通じて定義されるバナッハ空間の新しい族を構築する。 これらのバナッハ空間上で生じる学習問題に対する解集合が、多変量非線形性を持つニューラルアーキテクチャによって完全に特徴づけられることを証明した。 これらの最適アーキテクチャは接続をスキップし、直交量正規化とマルチインデックスモデルに強く結びついており、どちらもニューラルネットワークコミュニティに最近関心を寄せている。 本手法は, 直交線形単位(relu)活性化関数, ノルム活性化関数, および薄板/多ハーモニックスプラインの理論に見られる放射基底関数を含む, 数多くの古典非線形性に適合する。 また、基底空間は、カーネルバナッハ空間と変分空間を再現する特別な例であることを示す。 その結果、特に多変量非線形性で訓練されたニューラルネットワークが学習した関数の規則性に光を当て、実際に見つかったいくつかのアーキテクチャ選択に対する新たな理論的動機を与えた。

関連論文リスト

• An Adaptive Tangent Feature Perspective of Neural Networks [4.900298402690262]
  特徴量の線形変換を考察し、パラメータと双線型制約による変換を共同で最適化する。 ニューラルネットワークの構造に特化して、機能がどのように変化し、カーネル関数が変化するかについての洞察を得る。 実ニューラルネットワークのカーネルアライメントにおける理論的観察を検証する。
  論文  参考訳（メタデータ） (2023-08-29T17:57:20Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory [19.216784367141972]
  本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。 我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
  論文  参考訳（メタデータ） (2021-05-07T16:18:22Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity [6.252236971703546]
  分割線型関数を構成する線形関数間の同値関係を導入し、その同値関係に対してそれらの線形関数を数える。 我々の新しい複雑性測度は、2つのモデルを明確に区別することができ、古典的測度と整合し、指数関数的に深さに比例して増加する。
  論文  参考訳（メタデータ） (2020-10-23T01:46:12Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。