論文の概要: A Lipschitz spaces view of infinitely wide shallow neural networks

• arxiv url: http://arxiv.org/abs/2410.14591v1
• Date: Fri, 18 Oct 2024 16:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:16.146284
• Title: A Lipschitz spaces view of infinitely wide shallow neural networks
• Title（参考訳）: 無限に広い浅層ニューラルネットワークのリプシッツ空間ビュー
• Authors: Francesca Bartolucci, Marcello Carioni, José A. Iglesias, Yury Korolev, Emanuele Naldi, Stefano Vigogna,
• Abstract要約: 我々は、パラメータ空間と双対対対の符号付き測度を用いて、浅いニューラルネットワークの平均場パラメトリゼーションを再考する。 コンパクト性は強いカントロビッチ=ルビンシュタインノルムで証明され、そうでない場合には好ましくない振る舞いを示すいくつかの例を示す。
• 参考スコア（独自算出の注目度）: 3.0017241250121387
• License:
• Abstract: We revisit the mean field parametrization of shallow neural networks, using signed measures on unbounded parameter spaces and duality pairings that take into account the regularity and growth of activation functions. This setting directly leads to the use of unbalanced Kantorovich-Rubinstein norms defined by duality with Lipschitz functions, and of spaces of measures dual to those of continuous functions with controlled growth. These allow to make transparent the need for total variation and moment bounds or penalization to obtain existence of minimizers of variational formulations, under which we prove a compactness result in strong Kantorovich-Rubinstein norm, and in the absence of which we show several examples demonstrating undesirable behavior. Further, the Kantorovich-Rubinstein setting enables us to combine the advantages of a completely linear parametrization and ensuing reproducing kernel Banach space framework with optimal transport insights. We showcase this synergy with representer theorems and uniform large data limits for empirical risk minimization, and in proposed formulations for distillation and fusion applications.
• Abstract（参考訳）: 活性化関数の正則性と成長を考慮した非有界パラメータ空間と双対対対の符号付き測度を用いて、浅部ニューラルネットワークの平均場パラメトリゼーションを再検討する。 この設定は直接的に、リプシッツ函数との双対性によって定義されるアンバランスなカントロヴィチ=ルビンシュタインノルムと、制御された成長を持つ連続函数のノルムと双対な測度空間の使用につながる。 これらのことは、全変分とモーメント境界やペナル化の必要性を透明化し、変分定式化の最小化の存在を証明し、そこで、コンパクト性が強いカントロヴィチ=ルビンシュタインノルムをもたらすことを証明し、そこでは、望ましくない振る舞いを示すいくつかの例を示す。 さらに、カントロビッチ・ルビンシュタイン設定により、完全に線形なパラメトリゼーションの利点と、それに続く再生カーネルバナッハ空間フレームワークと最適な輸送洞察を組み合わせられる。 本稿では,この相乗効果に代表者定理と実験的リスク最小化のための一様大データ制限,および蒸留・核融合の定式化を紹介する。

関連論文リスト

• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• On the Lipschitz Constant of Deep Networks and Double Descent [5.381801249240512]
  ディープネットワークの一般化誤差に関する既存の境界は、入力変数への滑らかなあるいは有界な依存を仮定する。 二重降下中の深層ネットワークにおける経験的リプシッツ定数に関する実験的検討を行った。
  論文  参考訳（メタデータ） (2023-01-28T23:22:49Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• Decentralized Feature-Distributed Optimization for Generalized Linear Models [19.800898945436384]
  一般化線形モデルに対する「オール・フォー・ワン」分散学習問題を考える。 各サンプルの特徴は、ネットワーク内の複数の協調エージェントに分割されるが、応答変数を観察するエージェントは1つだけである。 問題の等価なサドル点定式化にシャンブル-ポック原始-双対アルゴリズムを適用する。
  論文  参考訳（メタデータ） (2021-10-28T16:42:47Z)
• Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable Approach for Continuous Markov Random Fields [53.31927549039624]
  断片的な離散化は既存の離散化問題と矛盾しないことを示す。 この理論を2つの画像のマッチング問題に適用する。
  論文  参考訳（メタデータ） (2021-07-13T12:31:06Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。