論文の概要: Steepest Descent Neural Architecture Optimization: Escaping Local
Optimum with Signed Neural Splitting
- arxiv url: http://arxiv.org/abs/2003.10392v5
- Date: Mon, 21 Jun 2021 01:07:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 23:41:38.161731
- Title: Steepest Descent Neural Architecture Optimization: Escaping Local
Optimum with Signed Neural Splitting
- Title（参考訳）: 最新のDescent Neural Architecture Optimization: 符号付きニューラルスプリッティングによる局所最適化の回避
- Authors: Lemeng Wu, Mao Ye, Qi Lei, Jason D. Lee, Qiang Liu
- Abstract要約: 我々は、局所最適性問題に対処する分割降下フレームワークの顕著で驚くべき拡張を開発する。
分割時の正と負の両方の重みを単純に許すことで、S2Dにおける分裂安定性の出現を排除できる。
我々は,CIFAR-100, ImageNet, ModelNet40 といった,S2D などの先進的なニューラルネットワークの精度とエネルギー効率の学習方法よりも優れている,様々な挑戦的なベンチマーク上で,本手法を検証する。
- 参考スコア（独自算出の注目度）: 60.97465664419395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing efficient and principled neural architecture optimization methods
is a critical challenge of modern deep learning. Recently, Liu et al.[19]
proposed a splitting steepest descent (S2D) method that jointly optimizes the
neural parameters and architectures based on progressively growing network
structures by splitting neurons into multiple copies in a steepest descent
fashion. However, S2D suffers from a local optimality issue when all the
neurons become "splitting stable", a concept akin to local stability in
parametric optimization. In this work, we develop a significant and surprising
extension of the splitting descent framework that addresses the local
optimality issue. The idea is to observe that the original S2D is unnecessarily
restricted to splitting neurons into positive weighted copies. By simply
allowing both positive and negative weights during splitting, we can eliminate
the appearance of splitting stability in S2D and hence escape the local optima
to obtain better performance. By incorporating signed splittings, we
significantly extend the optimization power of splitting steepest descent both
theoretically and empirically. We verify our method on various challenging
benchmarks such as CIFAR-100, ImageNet and ModelNet40, on which we outperform
S2D and other advanced methods on learning accurate and energy-efficient neural
networks.
- Abstract（参考訳）: 効率的で原則化されたニューラルネットワークの最適化手法の開発は、現代のディープラーニングにとって重要な課題である。
最近、liuら。
19] ニューロンを複数のコピーに分割し, 段階的に成長するネットワーク構造に基づいて, 神経パラメータとアーキテクチャを協調的に最適化するs2d法を提案した。
しかしながら、S2Dは全てのニューロンが「安定に分裂する」ときに局所最適性の問題に悩まされ、これはパラメトリック最適化における局所安定性に類似している。
本研究では,局所的最適性問題に対処する分割降下フレームワークの重要かつ驚くべき拡張を開発する。
元々のS2Dは、ニューロンを正の重み付けされたコピーに分割するのに不必要に制限されている。
分割時の正と負の両方の重みを単純に許すことで、S2Dにおける分裂安定性の出現を排除し、それによって局所最適解を回避してより良い性能を得ることができる。
符号付き分割を組み込むことにより、最も急な降下を理論的にも経験的にも分割する最適化能力を著しく拡張する。
我々は,CIFAR-100, ImageNet, ModelNet40 といった,S2D などの先進的なニューラルネットワークの精度とエネルギー効率の学習方法よりも優れている,様々な挑戦的なベンチマーク上で,本手法を検証する。
関連論文リスト
- Efficient Second-Order Neural Network Optimization via Adaptive Trust Region Methods [0.0]
SecondOrderAdaptive (SOAA) は、従来の二階法の限界を克服するために設計された新しい最適化アルゴリズムである。
私たちは、SOAAが1次近似よりも速く、より安定した収束を達成することを実証的に実証します。
論文 参考訳（メタデータ） (2024-10-03T08:23:06Z) - Soft Merging: A Flexible and Robust Soft Model Merging Approach for
Enhanced Neural Network Performance [6.599368083393398]
グラディエント(SGD)はしばしばモデル性能を改善するために局所最適化を収束させることに制限される。
エム・ソフト・マージング法は、望ましくない結果で得られた局所最適モデルを最小化する。
実験は、統合されたネットワークの有効性を裏付けるものである。
論文 参考訳（メタデータ） (2023-09-21T17:07:31Z) - MIPS-Fusion: Multi-Implicit-Submaps for Scalable and Robust Online
Neural RGB-D Reconstruction [15.853932110058585]
本稿では,新しい暗黙表現-多目的サブマップに基づく,堅牢でスケーラブルなオンラインRGB-D再構成手法を提案する。
本手法では,脳神経サブマップを走査軌道に沿って漸進的に配置し,局所的な神経束の調整によって効率よく学習する。
初めてランダム化された最適化は、学習プロセスにいくつかの重要な設計を施したニューラルトラッキングにおいて可能となり、高速カメラモーションの下でも効率的でロバストなトラッキングを可能にする。
論文 参考訳（メタデータ） (2023-08-17T02:33:16Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳（メタデータ） (2021-12-13T20:50:54Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Improving Neural Network Training in Low Dimensional Random Bases [5.156484100374058]
トレーニング中にランダムなプロジェクションを固定し続けることは、最適化に有害であることを示す。
本稿では,各ステップにおけるランダム部分空間の再描画を提案する。
ネットワークの異なる部分に独立したプロジェクションを適用することで、ネットワーク次元が大きくなるにつれて、近似をより効率的にすることで、さらなる改善を実現する。
論文 参考訳（メタデータ） (2020-11-09T19:50:19Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳（メタデータ） (2020-06-10T15:38:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。