論文の概要: Path-conditioned training: a principled way to rescale ReLU neural networks

• arxiv url: http://arxiv.org/abs/2602.19799v1
• Date: Mon, 23 Feb 2026 12:55:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.818518
• Title: Path-conditioned training: a principled way to rescale ReLU neural networks
• Title（参考訳）: 経路条件付きトレーニング:ReLUニューラルネットワークを再スケールする原則的方法
• Authors: Arthur Lebeurrier, Titouan Vayer, Rémi Gribonval,
• Abstract要約: 我々はReLUネットワークをコンパクトに分解するパスリフトフレームワークを構築した。 ニューラルネットワークパラメータを再スケールするための幾何学的動機付け基準を導入する。 我々はこのアライメントを実行するための効率的なアルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 15.875889029027915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent algorithmic advances, we still lack principled ways to leverage the well-documented rescaling symmetries in ReLU neural network parameters. While two properly rescaled weights implement the same function, the training dynamics can be dramatically different. To offer a fresh perspective on exploiting this phenomenon, we build on the recent path-lifting framework, which provides a compact factorization of ReLU networks. We introduce a geometrically motivated criterion to rescale neural network parameters which minimization leads to a conditioning strategy that aligns a kernel in the path-lifting space with a chosen reference. We derive an efficient algorithm to perform this alignment. In the context of random network initialization, we analyze how the architecture and the initialization scale jointly impact the output of the proposed method. Numerical experiments illustrate its potential to speed up training.
• Abstract（参考訳）: 最近のアルゴリズムの進歩にもかかわらず、ReLUニューラルネットワークパラメータのよく文書化された再スケーリング対称性を活用するための原則的な方法がまだ欠けている。 2つの適切に再スケールされた重みは同じ機能を実装しているが、トレーニングのダイナミクスは劇的に異なる。 この現象を生かした新たな視点を提供するため,ReLUネットワークのコンパクト化を実現するパスリフトフレームワークを構築した。 本稿では,ニューラルネットワークパラメータを再スケールするための幾何学的動機付け基準を導入し,最小化によってパスリフト空間内のカーネルを選択参照と整合させる条件付け戦略を提案する。 我々はこのアライメントを実行するための効率的なアルゴリズムを導出する。 ランダムネットワーク初期化の文脈では、アーキテクチャと初期化スケールが提案手法の出力にどのように影響するかを解析する。 数値実験は、トレーニングをスピードアップする可能性を示している。

関連論文リスト

• Faster Predictive Coding Networks via Better Initialization [52.419343840654186]
  本稿では,従来のトレーニングサンプルの反復的進捗を抑えることを目的とした,予測符号化ネットワークのための新しい手法を提案する。 本実験は,教師なし設定と教師なし設定の両方において,収束速度と最終テスト損失が大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-28T08:52:19Z)
• A new initialisation to Control Gradients in Sinusoidal Neural network [9.341735544356167]
  我々は,textttSIRENのような正弦波活性化機能を持つネットワークに対して,新しい初期化を提案する。 グラデーションの制御とターゲティング・プレアクティベーションの消失は、推定中に不適切な周波数が出現するのを防ぐのに役立つ。 新しい初期化は、広範囲の再構築タスクで最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-12-06T13:23:03Z)
• Topological obstruction to the training of shallow ReLU neural networks [0.0]
  損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。 本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
  論文  参考訳（メタデータ） (2024-10-18T19:17:48Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。