論文の概要: Geometry and Optimization of Shallow Polynomial Networks

• arxiv url: http://arxiv.org/abs/2501.06074v1
• Date: Fri, 10 Jan 2025 16:11:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:26:20.218200
• Title: Geometry and Optimization of Shallow Polynomial Networks
• Title（参考訳）: 浅層ポリノミアルネットワークの幾何学と最適化
• Authors: Yossi Arjevani, Joan Bruna, Joe Kileel, Elzbieta Polak, Matthew Trager,
• Abstract要約: 我々は、幅と最適化の関係に着目し、活性化を伴う浅いニューラルネットワークについて研究する。 次に、低ランクテンソル近似の問題とみなすことができる教師学生問題を考える。 特に、すべての臨界点とそのヘッセン符号を特徴づけるエッカート・ヤング定理の変種を示す。
• 参考スコア（独自算出の注目度）: 37.10914374024599
• License:
• Abstract: We study shallow neural networks with polynomial activations. The function space for these models can be identified with a set of symmetric tensors with bounded rank. We describe general features of these networks, focusing on the relationship between width and optimization. We then consider teacher-student problems, that can be viewed as a problem of low-rank tensor approximation with respect to a non-standard inner product that is induced by the data distribution. In this setting, we introduce a teacher-metric discriminant which encodes the qualitative behavior of the optimization as a function of the training data distribution. Finally, we focus on networks with quadratic activations, presenting an in-depth analysis of the optimization landscape. In particular, we present a variation of the Eckart-Young Theorem characterizing all critical points and their Hessian signatures for teacher-student problems with quadratic networks and Gaussian training data.
• Abstract（参考訳）: 多項式活性化を伴う浅層ニューラルネットワークについて検討する。 これらのモデルの函数空間は、有界ランクを持つ対称テンソルの集合と同一視できる。 本稿では,幅と最適化の関係に着目し,これらのネットワークの一般的な特徴について述べる。 次に、データ分布によって誘導される非標準内積に対して、低ランクテンソル近似の問題とみなすことができる教師学生問題を考える。 本稿では,学習データ分布の関数として最適化の質的振る舞いを符号化した教師メトリック判別器を提案する。 最後に,2次アクティベーションを持つネットワークに着目し,最適化景観の詳細な解析を行う。 特に,2次ネットワークとガウス学習データを用いた教師学生問題に対して,すべての臨界点とそのヘッセン的シグネチャを特徴付けるエッカート・ヤング理論のバリエーションを示す。

関連論文リスト

• Black Boxes and Looking Glasses: Multilevel Symmetries, Reflection Planes, and Convex Optimization in Deep Networks [46.337104465755075]
  絶対値アクティベーションと任意の入力次元を持つディープニューラルネットワーク(DNN)のトレーニングは,等価凸ラッソ問題として定式化可能であることを示す。 この定式化は、ニューラルネットワークの対称性をコードする幾何学的構造を明らかにする。
  論文  参考訳（メタデータ） (2024-10-05T20:09:07Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression [28.851519959657466]
  本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。 この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。 これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
  論文  参考訳（メタデータ） (2023-05-25T23:32:10Z)
• Function Space and Critical Points of Linear Convolutional Networks [4.483341215742946]
  一次元畳み込み層を有する線形ネットワークの幾何学について検討する。 我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-04-12T10:15:17Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。