論文の概要: Towards Constituting Mathematical Structures for Learning to Optimize
- arxiv url: http://arxiv.org/abs/2305.18577v1
- Date: Mon, 29 May 2023 19:37:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 19:36:29.213609
- Title: Towards Constituting Mathematical Structures for Learning to Optimize
- Title（参考訳）: 最適学習のための数学的構造の構築に向けて
- Authors: Jialin Liu, Xiaohan Chen, Zhangyang Wang, Wotao Yin, HanQin Cai
- Abstract要約: 近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。
ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。
一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。
本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
- 参考スコア（独自算出の注目度）: 101.80359461134087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning to Optimize (L2O), a technique that utilizes machine learning to
learn an optimization algorithm automatically from data, has gained arising
attention in recent years. A generic L2O approach parameterizes the iterative
update rule and learns the update direction as a black-box network. While the
generic approach is widely applicable, the learned model can overfit and may
not generalize well to out-of-distribution test sets. In this paper, we derive
the basic mathematical conditions that successful update rules commonly
satisfy. Consequently, we propose a novel L2O model with a mathematics-inspired
structure that is broadly applicable and generalized well to
out-of-distribution problems. Numerical simulations validate our theoretical
findings and demonstrate the superior empirical performance of the proposed L2O
model.
- Abstract（参考訳）: データから自動的に最適化アルゴリズムを学習する機械学習技術である learning to optimize (l2o) が近年注目されている。
ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。
一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。
本稿では,更新規則をよく満たす基本的な数学的条件を導出する。
そこで本研究では, 分布外問題に対して広く適用でき, 一般化された数学的構造を持つ新しいL2Oモデルを提案する。
数値シミュレーションにより,提案するl2oモデルの優れた実験性能が得られた。
関連論文リスト
- LLM4ED: Large Language Models for Automatic Equation Discovery [0.8644909837301149]
我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。
具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。
実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
論文 参考訳（メタデータ） (2024-05-13T14:03:49Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - Adaptive Optimization Algorithms for Machine Learning [0.0]
機械学習は、データ駆動の世界において重要な役割を担います。
この論文は、新しい洞察をもたらし、収束保証を改善した新しいアルゴリズムを導入し、人気のある実用的なアルゴリズムの分析を改善する。
論文 参考訳（メタデータ） (2023-11-16T21:22:47Z) - M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast
Self-Adaptation [145.7321032755538]
L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。
本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
論文 参考訳（メタデータ） (2023-02-28T19:23:20Z) - Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。
現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。
我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
論文 参考訳（メタデータ） (2023-02-22T01:17:31Z) - Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。
既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。
本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。
そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
論文 参考訳（メタデータ） (2022-03-13T06:04:25Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳（メタデータ） (2021-03-23T20:46:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。