論文の概要: Homotopy Relaxation Training Algorithms for Infinite-Width Two-Layer ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2309.15244v3
• Date: Sun, 06 Oct 2024 03:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:09:37.314586
• Title: Homotopy Relaxation Training Algorithms for Infinite-Width Two-Layer ReLU Neural Networks
• Title（参考訳）: 無限幅2層ReLUニューラルネットワークのためのホモトピー緩和訓練アルゴリズム
• Authors: Yahong Yang, Qipin Chen, Wenrui Hao,
• Abstract要約: HRTA(Homotopy Relaxation Training Algorithm)と呼ばれる新しいトレーニング手法を提案する。 提案アルゴリズムは,線形活性化関数とReLU活性化関数をシームレスに結合するホモトピー活性化関数を構築することを含む。 我々は,ニューラル・タンジェント・カーネル(NTK)の文脈において,この手法の詳細な解析を行った。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License:
• Abstract: In this paper, we present a novel training approach called the Homotopy Relaxation Training Algorithm (HRTA), aimed at accelerating the training process in contrast to traditional methods. Our algorithm incorporates two key mechanisms: one involves building a homotopy activation function that seamlessly connects the linear activation function with the ReLU activation function; the other technique entails relaxing the homotopy parameter to enhance the training refinement process. We have conducted an in-depth analysis of this novel method within the context of the neural tangent kernel (NTK), revealing significantly improved convergence rates. Our experimental results, especially when considering networks with larger widths, validate the theoretical conclusions. This proposed HRTA exhibits the potential for other activation functions and deep neural networks.
• Abstract（参考訳）: 本稿では,従来手法とは対照的にトレーニングプロセスの高速化を目的とした,HRTA(Homotopy Relaxation Training Algorithm)と呼ばれる新しいトレーニング手法を提案する。 提案アルゴリズムは,線形活性化関数とReLU活性化関数をシームレスに結合するホモトピー活性化関数を構築することを含む。 我々は,ニューラル・タンジェント・カーネル(NTK)の文脈において,この手法の詳細な解析を行い,コンバージェンス・レートを著しく改善した。 実験の結果,特に幅の広いネットワークを考えると,理論的な結論が得られた。 提案したHRTAは、他の活性化機能やディープニューラルネットワークの可能性を示す。

関連論文リスト

• Stochastic Gradient Descent for Two-layer Neural Networks [2.0349026069285423]
  本稿では、過パラメータ化された2層ニューラルネットワークに適用した場合の降下(SGD)アルゴリズムの収束率について検討する。 提案手法は,NTKのタンジェントカーネル(NTK)近似と,NTKが生成する再生カーネル空間(RKHS)の収束解析を組み合わせたものである。 我々の研究フレームワークは、カーネルメソッドと最適化プロセスの間の複雑な相互作用を探索し、ニューラルネットワークのダイナミクスと収束特性に光を当てることを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T13:58:57Z)
• Improved weight initialization for deep and narrow feedforward neural network [3.0784574277021397]
  ReLUニューロンが不活性になり出力がゼロになる"Bluving Dieing ReLU"というテキスト引用の問題は、ReLUアクティベーション機能を備えたディープニューラルネットワークのトレーニングにおいて大きな課題となる。 本稿では,この問題に対処するための新しい重み初期化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T05:28:12Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks [12.475834086073734]
  1次勾配法はニューラルネットワークのトレーニングに広く用いられている。 近年の研究では、最初のニューラルオーダー法が世界最小収束を達成することができることが証明されている。
  論文  参考訳（メタデータ） (2022-08-08T07:13:26Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Wasserstein Flow Meets Replicator Dynamics: A Mean-Field Analysis of Representation Learning in Actor-Critic [137.04558017227583]
  ニューラルネットワークによって強化されたアクター・クリティカル(AC)アルゴリズムは、近年、かなりの成功を収めている。 我々は,特徴量に基づくニューラルACの進化と収束について,平均場の観点から考察する。 神経性交流は,大域的最適政策をサブ線形速度で求める。
  論文  参考訳（メタデータ） (2021-12-27T06:09:50Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。