Fugu-MT 論文翻訳(概要): Optimal lower Lipschitz bounds for ReLU layers, saturation, and phase retrieval

論文の概要: Optimal lower Lipschitz bounds for ReLU layers, saturation, and phase retrieval

arxiv url: http://arxiv.org/abs/2502.09898v1
Date: Fri, 14 Feb 2025 04:10:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-17 18:06:20.937051
Title: Optimal lower Lipschitz bounds for ReLU layers, saturation, and phase retrieval
Title（参考訳）: ReLU層に対する最適下リプシッツ境界、飽和、位相探索
Authors: Daniel Freeman, Daniel Haider,
Abstract要約: 本稿では,3つの問題を統一的な視点で再検討する。リプシッツ境界をReLU層とクリッピングに導出し、これは相検索の既知結果と類似している。
参考スコア（独自算出の注目度）: 1.2337680901241983
License:
Abstract: The injectivity of ReLU layers in neural networks, the recovery of vectors from clipped or saturated measurements, and (real) phase retrieval in $\mathbb{R}^n$ allow for a similar problem formulation and characterization using frame theory. In this paper, we revisit all three problems with a unified perspective and derive lower Lipschitz bounds for ReLU layers and clipping which are analogous to the previously known result for phase retrieval and are optimal up to a constant factor.
Abstract（参考訳）: ニューラルネットワークにおけるReLU層の注入性、クリッピングまたは飽和測定によるベクトルの回復、および$\mathbb{R}^n$における(実)位相の検索は、フレーム理論を用いた同様の問題定式化とキャラクタリゼーションを可能にする。本稿では,3つの問題を統一的な視点で再検討し,ReLU層とクリッピングの下位リプシッツ境界を導出する。

関連論文リスト

Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
論文参考訳（メタデータ） (2024-10-08T16:54:23Z)
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
2層から有限層まで線形に活性化するニューラルネットワークについて検討する。まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
論文参考訳（メタデータ） (2024-03-02T00:33:45Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
論文参考訳（メタデータ） (2023-05-31T18:48:16Z)
Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文参考訳（メタデータ） (2023-05-25T15:32:21Z)
Provable Phase Retrieval with Mirror Descent [1.1662472705038338]
我々は,その挙動の程度から$n$-mの実ベクトルを復元する位相探索の問題を考察する。 2つの測定値について、n$の値が十分であれば、ほとんどすべての初期化子に対して高い確率で元のベクトルが符号まで回復することを示す。
論文参考訳（メタデータ） (2022-10-17T16:40:02Z)
How do noise tails impact on deep ReLU networks? [2.5889847253961418]
非パラメトリック回帰関数のクラスにおける最適収束速度が p, 滑らか度, 内在次元に依存することを示す。我々はまた、深部ReLUニューラルネットワークの近似理論に関する新しい結果にも貢献する。
論文参考訳（メタデータ） (2022-03-20T00:27:32Z)
Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文参考訳（メタデータ） (2022-02-02T23:50:53Z)
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks [1.14219428942199]
本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
論文参考訳（メタデータ） (2022-01-28T11:30:06Z)
On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
論文参考訳（メタデータ） (2020-05-03T00:58:23Z)
Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
論文参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。