論文の概要: Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting

• arxiv url: http://arxiv.org/abs/2605.17692v1
• Date: Sun, 17 May 2026 23:20:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.400914
• Title: Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting
• Title（参考訳）: 完全正のリフティングによる線形ニューラルネットワークの厳密な凸修正
• Authors: Karthik Prakhya, Alp Yurtsever,
• Abstract要約: この損失下での深い線形ネットワークの問題は、持ち上げられた空間円錐の正確な再構成を許容することを示す。 結果として生じる神経表現は難解であるが、線形因子とコ陽性プログラミングを結びつける。
• 参考スコア（独自算出の注目度）: 7.433931244705935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that the training problem of a deep linear neural network under the squared loss admits an exact convex reformulation in a lifted space over a generalized completely positive cone. The reformulation has the same optimal value as the original nonconvex problem and is linear in the lifted variables, with all nonconvexity encoded in the cone constraint. Its ambient lifted dimension depends only on the input and output dimensions, independent of the network depth and the number of data points, and the bottleneck width enters only through scalar constraints. The construction proceeds by reducing the multilayer parameterization to a bilinear factorization, lifting it to a rank-constrained semidefinite program, expressing the rank constraint via a complementarity condition, and applying a completely positive lifting. While the resulting formulation is computationally intractable in general, it gives an exact conic representation of the nonconvexity induced by linear factorization and connects linear neural network training with copositive programming.
• Abstract（参考訳）: 正方形損失下での深部線形ニューラルネットワークのトレーニング問題は, 一般化された正の錐体上の持ち上げ空間において, 正確な凸の再構成を許容することを示す。 再構成は元の非凸問題と同じ最適値を持ち、持ち上げ変数では線型であり、すべての非凸性はコーン制約にエンコードされる。 その周囲持ち上げ次元は、入力次元と出力次元にのみ依存し、ネットワーク深さとデータポイントの数に依存せず、ボトルネック幅はスカラー制約によってのみ入力される。 構成は、多層パラメタライゼーションを双線形分解に還元し、階数制約付き半定プログラムに引き上げ、相補性条件で階数制約を表現し、完全に正の昇降を施す。 結果の定式化は一般に計算的に難解であるが、線形分解によって引き起こされる非凸性の正確な円錐表現を与え、線形ニューラルネットワークトレーニングと共陽性プログラミングを結びつける。

関連論文リスト

• Neural Networks as Local-to-Global Computations [0.0]
  エッジ上の制約マップとして各計算ステップを符号化することにより,任意のReLUニューラルネットワークからシーフを構築する。 フォワードパスとは異なり、熱方程式は層間で情報を双方向に伝播し、両方の方向に制約を課すピン付きニューロンを可能にする。 我々は, この枠組みを小さな合成問題に対して実験的に検証し, 収束定理を検証し, せん断に基づくトレーニングがまだ勾配降下と競合していないものの, 理論によって予測される定量的なスケーリング法則に従うことを示した。
  論文  参考訳（メタデータ） (2026-03-16T05:23:31Z)
• GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent [12.409030267572243]
  まず、エントロピー規則化線形計画問題として、ニューラルネットワーク出力予測問題を再構成する。 数値的性能向上を伴う高速化勾配降下アルゴリズムに基づいて,その問題を解決するため,アーキテクチャGLinSATを提案する。 これは、すべての操作が微分可能で行列分解自由な、最初の一般線形満足層である。
  論文  参考訳（メタデータ） (2024-09-26T03:12:53Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method [0.0]
  本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。 我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
  論文  参考訳（メタデータ） (2022-01-22T05:14:40Z)
• From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
  ディープネットワークを等価な(不確定な)カーネルマシンに変換します。 次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。 最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
  論文  参考訳（メタデータ） (2020-07-15T03:21:35Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。