論文の概要: A Convex Relaxation Approach to Generalization Analysis for Parallel Positively Homogeneous Networks

• arxiv url: http://arxiv.org/abs/2411.02767v1
• Date: Tue, 05 Nov 2024 03:24:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:44.408436
• Title: A Convex Relaxation Approach to Generalization Analysis for Parallel Positively Homogeneous Networks
• Title（参考訳）: 並列正同次ネットワークの一般化解析への凸緩和手法
• Authors: Uday Kiran Reddy Tadipatri, Benjamin D. Haeffele, Joshua Agterberg, René Vidal,
• Abstract要約: 入力出力マップが等質写像の和であるニューラルネットワークのクラスを研究する。 このようなネットワークに対する線形境界に対する一般的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.85188662524247
• License:
• Abstract: We propose a general framework for deriving generalization bounds for parallel positively homogeneous neural networks--a class of neural networks whose input-output map decomposes as the sum of positively homogeneous maps. Examples of such networks include matrix factorization and sensing, single-layer multi-head attention mechanisms, tensor factorization, deep linear and ReLU networks, and more. Our general framework is based on linking the non-convex empirical risk minimization (ERM) problem to a closely related convex optimization problem over prediction functions, which provides a global, achievable lower-bound to the ERM problem. We exploit this convex lower-bound to perform generalization analysis in the convex space while controlling the discrepancy between the convex model and its non-convex counterpart. We apply our general framework to a wide variety of models ranging from low-rank matrix sensing, to structured matrix sensing, two-layer linear networks, two-layer ReLU networks, and single-layer multi-head attention mechanisms, achieving generalization bounds with a sample complexity that scales almost linearly with the network width.
• Abstract（参考訳）: 本稿では, 入力出力マップを正の同次写像の和として分解するニューラルネットワークのクラスである, 並列正の同次ニューラルネットワークに対する一般化境界を導出する一般フレームワークを提案する。 そのようなネットワークの例としては、行列係数化とセンシング、単層マルチヘッドアテンション機構、テンソル因子化、ディープ線形およびReLUネットワークなどがある。 我々の一般的なフレームワークは、予測関数よりも近い凸最適化問題と非凸経験的リスク最小化(ERM)問題をリンクすることに基づいており、これはERM問題に対して、グローバルで達成可能な低バウンドを提供する。 我々はこの凸下界を利用して凸空間の一般化解析を行い、凸モデルと非凸モデルとの相違を制御した。 我々は,低ランク行列センシングから構造化行列センシング,2層線形ネットワーク,2層ReLUネットワーク,および1層多層アテンション機構に至るまで,多種多様なモデルに適用し,ネットワーク幅とほぼ線形にスケールするサンプル複雑性で一般化バウンダリを実現する。

関連論文リスト

• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• The Asymmetric Maximum Margin Bias of Quasi-Homogeneous Neural Networks [26.58848653965855]
  準均質モデルのクラスを導入し、同質な活性化を伴うほぼ全てのニューラルネットワークを記述するのに十分な表現性を示す。 すべてのパラメータが等しく扱われる同質なモデルの場合とは異なり、勾配流はパラメータのサブセットを暗黙的に好んでいる。
  論文  参考訳（メタデータ） (2022-10-07T21:14:09Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Decentralized Feature-Distributed Optimization for Generalized Linear Models [19.800898945436384]
  一般化線形モデルに対する「オール・フォー・ワン」分散学習問題を考える。 各サンプルの特徴は、ネットワーク内の複数の協調エージェントに分割されるが、応答変数を観察するエージェントは1つだけである。 問題の等価なサドル点定式化にシャンブル-ポック原始-双対アルゴリズムを適用する。
  論文  参考訳（メタデータ） (2021-10-28T16:42:47Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending [0.2294014185517203]
  ニューラルネットワークのアンサンブルを用いて集約回帰器を構成するインクリメンタルアルゴリズムを導入する。 集合回帰器と新たに訓練されたニューラルネットワークを凸性制約下で最適にブレンドする。 このフレームワークでは、直線性の問題はまったく発生せず、メソッドが正確かつ堅牢になるようにレンダリングします。
  論文  参考訳（メタデータ） (2021-04-30T01:32:08Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。