論文の概要: Embedding principle of homogeneous neural network for classification problem

• arxiv url: http://arxiv.org/abs/2505.12419v2
• Date: Wed, 21 May 2025 05:02:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 13:19:52.324967
• Title: Embedding principle of homogeneous neural network for classification problem
• Title（参考訳）: 分類問題に対する均質ニューラルネットワークの埋め込み原理
• Authors: Jiahan Zhang, Yaoyu Zhang, Tao Luo,
• Abstract要約: 本稿では,ニューロン分割により発生する異なる幅のネットワーク間のKKT点の関係について検討する。 我々はtextbfKKT 点埋め込みの原理を導入・定式化し、同種ネットワークの最大マージン問題の KKT 点をより大きなネットワークの問題 KKT 点に埋め込むことができることを確認した。
• 参考スコア（独自算出の注目度）: 4.418361486640713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the convergence points and optimization landscape of neural networks is crucial, particularly for homogeneous networks where Karush-Kuhn-Tucker (KKT) points of the associated maximum-margin problem often characterize solutions. This paper investigates the relationship between such KKT points across networks of different widths generated via neuron splitting. We introduce and formalize the \textbf{KKT point embedding principle}, establishing that KKT points of a homogeneous network's max-margin problem ($P_{\Phi}$) can be embedded into the KKT points of a larger network's problem ($P_{\tilde{\Phi}}$) via specific linear isometric transformations corresponding to neuron splitting. We rigorously prove this principle holds for neuron splitting in both two-layer and deep homogeneous networks. Furthermore, we connect this static embedding to the dynamics of gradient flow training with smooth losses. We demonstrate that trajectories initiated from appropriately mapped points remain mapped throughout training and that the resulting $\omega$-limit sets of directions are correspondingly mapped ($T(L(\theta(0))) = L(\boldsymbol{\eta}(0))$), thereby preserving the alignment with KKT directions dynamically when directional convergence occurs. Our findings offer insights into the effects of network width, parameter redundancy, and the structural connections between solutions found via optimization in homogeneous networks of varying sizes.
• Abstract（参考訳）: ニューラルネットワークの収束点と最適化ランドスケープを理解することは、特にKKT(Karush-Kuhn-Tucker)のKKT(Karush-Kuhn-Tucker)が解を特徴付ける同種ネットワークにおいて重要である。 本稿では,ニューロン分割によって発生する異なる幅のネットワーク間のKKT点の関係について検討する。 我々は,同次ネットワークの最大マルジン問題(P_{\Phi}$)のKKT点が,ニューロン分割に対応する特定の線形等尺変換によって,大ネットワークのKKT点(P_{\tilde{\Phi}}$)に埋め込まれることを確立する。 我々はこの原理が二層ネットワークと深層ネットワークの両方でニューロン分割に有効であることを厳密に証明する。 さらに、この静的埋め込みを、スムーズな損失を伴う勾配流トレーニングのダイナミクスに接続する。 適切に写像された点から開始された軌跡は、トレーニングを通して写像され続け、結果として得られる$\omega$-limit の方向の集合は、対応する (T(L(\theta(0))) = L(\boldsymbol{\eta}(0))$) と写像される。 本研究は, ネットワーク幅, パラメータ冗長性, および, 様々な大きさの均一ネットワークにおいて, 最適化によって得られる解間の構造的関係について考察した。

関連論文リスト

• Exploring the loss landscape of regularized neural networks via convex duality [42.48510370193192]
  本稿では,正規化ニューラルネットワークのロスランドスケープのいくつかの側面について論じる。 まず、その双対を用いて凸問題の解集合を特徴づけ、さらに全ての定常点を特徴づける。 ソリューションセットの特徴付けと接続結果は、異なるアーキテクチャに拡張可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:41:38Z)
• Neural Inverse Kinematics [72.85330210991508]
  逆キネマティック(英語版)(IK)法は、キネマティックチェインにおける選択された要素の所望の位置から関節のパラメータを復元する。 本稿では,問題階層構造を用いて,所望の位置に条件付き有効関節角度を逐次サンプリングするニューラルIK法を提案する。
  論文  参考訳（メタデータ） (2022-05-22T14:44:07Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• The edge of chaos: quantum field theory and deep neural networks [0.0]
  我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。 我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。 我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
  論文  参考訳（メタデータ） (2021-09-27T18:00:00Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。