論文の概要: Learning to Optimize: A Primer and A Benchmark

• arxiv url: http://arxiv.org/abs/2103.12828v1
• Date: Tue, 23 Mar 2021 20:46:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 14:09:40.888312
• Title: Learning to Optimize: A Primer and A Benchmark
• Title（参考訳）: 最適化を学ぶ:プライマーとベンチマーク
• Authors: Tianlong Chen, Xiaohan Chen, Wuyang Chen, Howard Heaton, Jialin Liu, Zhangyang Wang, Wotao Yin
• Abstract要約: 最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
• 参考スコア（独自算出の注目度）: 94.29436694770953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to optimize (L2O) is an emerging approach that leverages machine learning to develop optimization methods, aiming at reducing the laborious iterations of hand engineering. It automates the design of an optimization method based on its performance on a set of training problems. This data-driven procedure generates methods that can efficiently solve problems similar to those in the training. In sharp contrast, the typical and traditional designs of optimization methods are theory-driven, so they obtain performance guarantees over the classes of problems specified by the theory. The difference makes L2O suitable for repeatedly solving a certain type of optimization problems over a specific distribution of data, while it typically fails on out-of-distribution problems. The practicality of L2O depends on the type of target optimization, the chosen architecture of the method to learn, and the training procedure. This new paradigm has motivated a community of researchers to explore L2O and report their findings. This article is poised to be the first comprehensive survey and benchmark of L2O for continuous optimization. We set up taxonomies, categorize existing works and research directions, present insights, and identify open challenges. We also benchmarked many existing L2O approaches on a few but representative optimization problems. For reproducible research and fair benchmarking purposes, we released our software implementation and data in the package Open-L2O at https://github.com/VITA-Group/Open-L2O.
• Abstract（参考訳）: 学習の最適化(L2O)は、機械学習を活用して最適化手法を開発する、新たなアプローチである。 一連のトレーニング問題に基づく最適化手法の設計を,その性能に基づいて自動化する。 このデータ駆動プロシージャは、トレーニングと同じような問題を効率的に解決できる方法を生成する。 対照的に、最適化手法の典型的および伝統的な設計は理論駆動であり、理論によって指定された問題のクラスに対する性能保証が得られる。 この違いにより、L2Oは特定のデータ分布に対するある種の最適化問題を繰り返し解決するのに適しているが、通常は分布外問題で失敗する。 l2oの実用性は、目標最適化の種類、学習する方法の選択したアーキテクチャ、訓練手順に依存する。 この新しいパラダイムは、研究者のコミュニティにL2Oを探索し、研究結果を報告する動機となった。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。 分類学を設定し、既存の研究と研究の方向性を分類し、洞察を示し、オープンな課題を特定する。 また、いくつかの一般的な最適化問題に対して、既存のL2Oアプローチをベンチマークした。 再現可能な研究と公正なベンチマークの目的のために、私たちはソフトウェア実装とデータを https://github.com/VITA-Group/Open-L2O.com のパッケージに公開しました。

関連論文リスト

• Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。 本稿では,パフォーマンス向上に着目したコード最適化について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Learning to optimize: A tutorial for continuous and mixed-integer optimization [41.29549467082292]
  Learning to Optimize (L2O)は、従来の最適化と機械学習の交差点に立っている。 このチュートリアルでは、L2Oテクニックを深く掘り下げて、最適化アルゴリズムの高速化、ソリューションの見積の迅速化、あるいは最適化問題自体の作り直しなどを紹介している。
  論文  参考訳（メタデータ） (2024-05-24T06:21:01Z)
• M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
  L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:23:20Z)
• Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
  最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。 現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。 我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T01:17:31Z)
• Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
  近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。 既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。 本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。 そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。