論文の概要: Branch-and-Pruning Optimization Towards Global Optimality in Deep Learning

• arxiv url: http://arxiv.org/abs/2104.01730v1
• Date: Mon, 5 Apr 2021 00:43:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:34:44.118899
• Title: Branch-and-Pruning Optimization Towards Global Optimality in Deep Learning
• Title（参考訳）: 深層学習におけるグローバル最適化に向けた分枝・分枝最適化
• Authors: Yuanwei Wu, Ziming Zhang and Guanghui Wang
• Abstract要約: 本稿では,ブランチとプルーニングによる深部モデルの最適化に向けて,新しい近似アルゴリズムであるem BPGradを提案する。 このような分枝と分枝の手順を繰り返すことで、有限反復の範囲内でグローバルな最適性を見つけることができることを証明します。 BPGrad for DLにもとづく効率的な適応解法が提案され,Adagrad,Adadelta,RMSProp,Adamなどの従来のDL解法よりも優れていた。
• 参考スコア（独自算出の注目度）: 34.5772952287821
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: It has been attracting more and more attention to understand the global optimality in deep learning (DL) recently. However, conventional DL solvers, have not been developed intentionally to seek for such global optimality. In this paper, we propose a novel approximation algorithm, {\em BPGrad}, towards optimizing deep models globally via branch and pruning. The proposed BPGrad algorithm is based on the assumption of Lipschitz continuity in DL, and as a result, it can adaptively determine the step size for the current gradient given the history of previous updates, wherein theoretically no smaller steps can achieve the global optimality. We prove that, by repeating such a branch-and-pruning procedure, we can locate the global optimality within finite iterations. Empirically an efficient adaptive solver based on BPGrad for DL is proposed as well, and it outperforms conventional DL solvers such as Adagrad, Adadelta, RMSProp, and Adam in the tasks of object recognition, detection, and segmentation. The code is available at \url{https://github.com/RyanCV/BPGrad}.
• Abstract（参考訳）: 近年,ディープラーニング(DL)のグローバルな最適性を理解するために,ますます注目を集めている。 しかし、従来のDLソルバは、そのような大域的最適性を求めるために意図的に開発されていない。 本稿では,ブランチとプルーニングを通した世界規模のディープモデル最適化に向けて,新しい近似アルゴリズムであるBPGradを提案する。 提案されたbpgradアルゴリズムはdlにおけるリプシッツ連続性の仮定に基づいており、その結果、理論的には小さなステップが大域的最適性を達成することができない、以前の更新の履歴から現在の勾配のステップサイズを適応的に決定することができる。 このような分岐・分岐手順を繰り返すことで、有限イテレーション内の大域的最適性を見出すことができることを証明できる。 adagrad, adadelta, rmsprop, adam などの従来の dl ソルバよりも,オブジェクト認識,検出,セグメンテーションのタスクにおいて,bpgrad for dl に基づく効率的な適応ソルバが提案されている。 コードは \url{https://github.com/ryancv/bpgrad} で入手できる。

関連論文リスト

• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Sample-efficient Iterative Lower Bound Optimization of Deep Reactive Policies for Planning in Continuous MDPs [27.41101006357176]
  本研究では,最小化-最大化の観点から反復的に最適化する。 w.r.t.は局所的に厳密な下界の目的である。 反復的下界最適化(ILBO)としての学習の新たな定式化は、(i)各ステップが全体目標よりも構造的に容易に最適化できるため、特に魅力的である。 実験的な評価により、ILBOは最先端のプランナーよりもはるかに試料効率が高いことが確認された。
  論文  参考訳（メタデータ） (2022-03-23T19:06:16Z)
• Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning Optimization Landscape [15.362190838843915]
  LPF-SGD は SGD よりも小さい一般化誤差でより良い最適点に収束することを示す。 本稿では,一般的なDLトレーニング手法と比較して,アルゴリズムが優れた一般化性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-01-20T07:13:04Z)
• Bregman Gradient Policy Optimization [97.73041344738117]
  本稿では,Bregmanの発散と運動量に基づく強化学習のためのBregmanグラデーションポリシーの最適化を設計する。 VR-BGPOは、各イテレーションで1つの軌道のみを必要とする$epsilon$stationaryポイントを見つけるために、$tilde(epsilon-3)$で最高の複雑性に達する。
  論文  参考訳（メタデータ） (2021-06-23T01:08:54Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Bayesian Optimization Meets Laplace Approximation for Robotic Introspection [41.117361086267806]
  本稿では,Deep Neural Networks(DNN)をよりイントロスペクティブにするために,スケーラブルなLaplace Approximation (LA)技術を導入する。 特に,本論文では,真の重み付け後部を過小評価する傾向を緩和する新しいベイズ最適化(BO)アルゴリズムを提案する。 提案するフレームワークは,大規模データセットやアーキテクチャにまで拡張可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-30T09:28:10Z)
• Learning to be Global Optimizer [28.88646928299302]
  いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。 学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T03:46:25Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。