論文の概要: Learn2Hop: Learned Optimization on Rough Landscapes
- arxiv url: http://arxiv.org/abs/2107.09661v1
- Date: Tue, 20 Jul 2021 17:57:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 15:50:06.893610
- Title: Learn2Hop: Learned Optimization on Rough Landscapes
- Title(参考訳): Learn2Hop: ラフランドスケープの最適化を学ぶ
- Authors: Amil Merchant, Luke Metz, Sam Schoenholz, Ekin Dogus Cubuk
- Abstract要約: 種々の損失構成に対する最適化アルゴリズムを学習することにより,メタラーニングの展開を多くのミニマ問題に適用することを提案する。
我々の学習は、要素や構成に先立って効率が向上する有望な一般化を示すことを示す。
- 参考スコア(独自算出の注目度): 19.30760260383794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimization of non-convex loss surfaces containing many local minima remains
a critical problem in a variety of domains, including operations research,
informatics, and material design. Yet, current techniques either require
extremely high iteration counts or a large number of random restarts for good
performance. In this work, we propose adapting recent developments in
meta-learning to these many-minima problems by learning the optimization
algorithm for various loss landscapes. We focus on problems from atomic
structural optimization--finding low energy configurations of many-atom
systems--including widely studied models such as bimetallic clusters and
disordered silicon. We find that our optimizer learns a 'hopping' behavior
which enables efficient exploration and improves the rate of low energy minima
discovery. Finally, our learned optimizers show promising generalization with
efficiency gains on never before seen tasks (e.g. new elements or
compositions). Code will be made available shortly.
- Abstract(参考訳): 多くの局所ミニマを含む非凸損失面の最適化は、操作研究、情報学、材料設計を含む様々な領域において重要な問題である。
しかし、現在のテクニックは、非常に高いイテレーション数を必要とするか、良いパフォーマンスのために大量のランダムな再起動を必要とする。
本研究では,様々なロスランドスケープに対する最適化アルゴリズムを学習することにより,メタラーニングの最近の発展を,これらの多最小問題に適応させる手法を提案する。
重金属クラスターや不規則シリコンなどの広く研究されているモデルを含む多原子系の低エネルギー構成を探索する原子構造最適化の問題に焦点をあてる。
最適化器は効率的な探索を可能にし、低エネルギーのミニマディスカバリの速度を向上させる「ホッピング」挙動を学習する。
最後に、学習したオプティマイザは、前例のないタスク(例えば、)において、効率向上を伴う有望な一般化を示す。
新たな要素や構成)。
コードは間もなく利用可能になる。
関連論文リスト
- Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳(メタデータ) (2023-02-01T17:32:16Z) - A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。
このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
論文 参考訳(メタデータ) (2022-11-26T09:06:15Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2022-11-17T18:39:07Z) - Learning to Optimize Quasi-Newton Methods [22.504971951262004]
本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。
他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。
この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
論文 参考訳(メタデータ) (2022-10-11T03:47:14Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Learning for Robust Combinatorial Optimization: Algorithm and
Application [26.990988571097827]
最適化学習(L2O)は、ニューラルネットワークの強い予測力を活用することにより、最適化問題を解決するための有望なアプローチとして登場した。
本稿では,不確実な状況下で頑健な解を迅速に出力するLRCOという新しい学習ベース最適化を提案する。
その結果、LRCOは、非常に少ない複雑さで、最悪のケースコストとランタイムを大幅に削減できることがわかった。
論文 参考訳(メタデータ) (2021-12-20T07:58:50Z) - Fighting the curse of dimensionality: A machine learning approach to
finding global optima [77.34726150561087]
本稿では,構造最適化問題におけるグローバル最適化の方法を示す。
特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
論文 参考訳(メタデータ) (2021-10-28T09:50:29Z) - Reverse engineering learned optimizers reveals known and novel
mechanisms [50.50540910474342]
学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。
実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
論文 参考訳(メタデータ) (2020-11-04T07:12:43Z) - Tasks, stability, architecture, and compute: Training more effective
learned optimizers, and using them to train themselves [53.37905268850274]
我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。
ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。
何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
論文 参考訳(メタデータ) (2020-09-23T16:35:09Z) - Learning fine-grained search space pruning and heuristics for
combinatorial optimization [5.72274610208488]
本稿では,機械学習技術を利用して正確な最適化アルゴリズムをスケールアップするフレームワークを提案する。
我々のフレームワークは、問題インスタンスのサイズを減らすために、要素を刈り取るという比較的単純なタスクを学習します。
我々のフレームワークは入力グラフのかなりの部分を取り除き、なおも最大傾きのほとんどを検出可能であることを示す。
論文 参考訳(メタデータ) (2020-01-05T13:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。