論文の概要: From Learning to Optimize to Learning Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2405.18222v1
• Date: Tue, 28 May 2024 14:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:09:42.694022
• Title: From Learning to Optimize to Learning Optimization Algorithms
• Title（参考訳）: 学習から最適化へ -最適化アルゴリズムの学習へ-
• Authors: Camille Castera, Peter Ochs,
• Abstract要約: 我々は、古典的アルゴリズムが従うが、これまでは、学習の最適化(L2O)には使われていない重要な原則を特定します。 我々は,データ,アーキテクチャ,学習戦略を考慮した汎用設計パイプラインを提供し,古典最適化とL2Oの相乗効果を実現する。 我々は,新しい学習強化BFGSアルゴリズムを設計し,テスト時に多くの設定に適応する数値実験を行うことにより,これらの新原理の成功を実証する。
• 参考スコア（独自算出の注目度）: 4.066869900592636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Towards designing learned optimization algorithms that are usable beyond their training setting, we identify key principles that classical algorithms obey, but have up to now, not been used for Learning to Optimize (L2O). Following these principles, we provide a general design pipeline, taking into account data, architecture and learning strategy, and thereby enabling a synergy between classical optimization and L2O, resulting in a philosophy of Learning Optimization Algorithms. As a consequence our learned algorithms perform well far beyond problems from the training distribution. We demonstrate the success of these novel principles by designing a new learning-enhanced BFGS algorithm and provide numerical experiments evidencing its adaptation to many settings at test time.
• Abstract（参考訳）: 学習した最適化アルゴリズムの設計において,従来のアルゴリズムが従うが,これまではL2O(Learning to Optimize)に使用されていなかった重要な原則を特定した。 これらの原則に従って、我々は、データ、アーキテクチャ、学習戦略を考慮した一般的な設計パイプラインを提供し、これにより古典最適化とL2Oの相乗効果を実現し、学習最適化アルゴリズムの哲学をもたらす。 その結果、学習したアルゴリズムは、トレーニング分布の問題をはるかに超えている。 我々は,新しい学習強化BFGSアルゴリズムを設計し,テスト時に多くの設定に適応する数値実験を行うことにより,これらの新原理の成功を実証する。

関連論文リスト

• Bayesian Design Principles for Frequentist Sequential Learning [11.421942894219901]
  逐次学習問題に対する頻繁な後悔を最適化する理論を開発する。 各ラウンドで「アルゴリズム的信念」を生成するための新しい最適化手法を提案する。 本稿では,マルチアームバンディットの「ベスト・オブ・オール・ワールド」な経験的性能を実現するための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-01T22:17:37Z)
• PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
  PAC-Bayes理論を学習最適化の設定に適用する。 証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。 この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
  論文  参考訳（メタデータ） (2022-10-20T09:16:36Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Tree-Based Adaptive Model Learning [62.997667081978825]
  我々はKearns-Vazirani学習アルゴリズムを拡張し、時間とともに変化するシステムを扱う。 本稿では,学習前の動作を再利用し,更新し,LearnerLibライブラリに実装し,大規模な実例で評価する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-31T21:24:22Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
  本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。 性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
  論文  参考訳（メタデータ） (2022-05-03T07:54:56Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。