論文の概要: Simple Linear Neuron Boosting

• arxiv url: http://arxiv.org/abs/2502.01131v1
• Date: Mon, 03 Feb 2025 07:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:02.302326
• Title: Simple Linear Neuron Boosting
• Title（参考訳）: 単純リニアニューロンブースティング
• Authors: Daniel Munoz,
• Abstract要約: 本稿では,Boosted Backpropagation を用いた関数空間におけるネットワークニューロンの最適化について検討する。 適応的なステップサイズを持つオンライン行列自由学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Given a differentiable network architecture and loss function, we revisit optimizing the network's neurons in function space using Boosted Backpropagation (Grubb & Bagnell, 2010), in contrast to optimizing in parameter space. From this perspective, we reduce descent in the space of linear functions that optimizes the network's backpropagated-errors to a preconditioned gradient descent algorithm. We show that this preconditioned update rule is equivalent to reparameterizing the network to whiten each neuron's features, with the benefit that the normalization occurs outside of inference. In practice, we use this equivalence to construct an online estimator for approximating the preconditioner and we propose an online, matrix-free learning algorithm with adaptive step sizes. The algorithm is applicable whenever autodifferentiation is available, including convolutional networks and transformers, and it is simple to implement for both the local and distributed training settings. We demonstrate fast convergence both in terms of epochs and wall clock time on a variety of tasks and networks.
• Abstract（参考訳）: 異なるネットワークアーキテクチャと損失関数が与えられた場合、パラメータ空間の最適化とは対照的に、Boosted Backpropagation (Grubb & Bagnell, 2010) を用いて関数空間内のネットワークニューロンを最適化する。 この観点から、ネットワークのバックプロパゲートエラーを最適化する線形関数空間の降下を、事前条件付き勾配降下アルゴリズムに還元する。 この事前条件付き更新規則は、各ニューロンの特徴を白くするためにネットワークを再パラメータ化することと等価であることを示す。 実際に,この等価性を用いてプレコンディショナーを近似するオンライン推定器を構築し,適応的なステップサイズを持つオンライン行列なし学習アルゴリズムを提案する。 このアルゴリズムは、畳み込みネットワークやトランスフォーマーを含む、自動微分が利用可能であればいつでも適用でき、ローカルおよび分散トレーニング設定の両方で実装が簡単である。 様々なタスクやネットワーク上でのエポックとウォールクロックの両面での高速収束を実証する。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Automatic Optimisation of Normalised Neural Networks [1.0334138809056097]
  ニューラルネットワークの正規化パラメータに対する行列多様体の幾何を考慮した自動最適化手法を提案する。 我々の手法はまずネットワークを初期化し、初期化ネットワークの$ell2$-$ell2$ゲインに関してデータを正規化する。
  論文  参考訳（メタデータ） (2023-12-17T10:13:42Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• A Distributed Data-Parallel PyTorch Implementation of the Distributed Shampoo Optimizer for Training Neural Networks At-Scale [5.206015354543744]
  Shampooは、ニューラルネットワークをトレーニングするためのAdaGradファミリーに属するオンラインおよび最適化アルゴリズムである。 我々は、PyTorchのディープネットワークを大規模にトレーニングするために実装したアルゴリズムと性能最適化の完全な記述を提供する。
  論文  参考訳（メタデータ） (2023-09-12T18:11:10Z)
• An Adaptive Tangent Feature Perspective of Neural Networks [4.900298402690262]
  特徴量の線形変換を考察し、パラメータと双線型制約による変換を共同で最適化する。 ニューラルネットワークの構造に特化して、機能がどのように変化し、カーネル関数が変化するかについての洞察を得る。 実ニューラルネットワークのカーネルアライメントにおける理論的観察を検証する。
  論文  参考訳（メタデータ） (2023-08-29T17:57:20Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
  再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。 従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。 本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-07T17:43:51Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。