論文の概要: Towards Robust Learning to Optimize with Theoretical Guarantees

• arxiv url: http://arxiv.org/abs/2506.14263v1
• Date: Tue, 17 Jun 2025 07:25:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.378739
• Title: Towards Robust Learning to Optimize with Theoretical Guarantees
• Title（参考訳）: 理論的保証者によるロバスト学習の最適化に向けて
• Authors: Qingyu Song, Wei Lin, Juncheng Wang, Hong Xu,
• Abstract要約: 学習を最適化する学習(L2O)は、学習に基づく手法で数学的最適化問題を解決する新しい手法である。 提案手法は,InDシナリオとOODシナリオの両方において,最先端のベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 13.76313767866408
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning to optimize (L2O) is an emerging technique to solve mathematical optimization problems with learning-based methods. Although with great success in many real-world scenarios such as wireless communications, computer networks, and electronic design, existing L2O works lack theoretical demonstration of their performance and robustness in out-of-distribution (OOD) scenarios. We address this gap by providing comprehensive proofs. First, we prove a sufficient condition for a robust L2O model with homogeneous convergence rates over all In-Distribution (InD) instances. We assume an L2O model achieves robustness for an InD scenario. Based on our proposed methodology of aligning OOD problems to InD problems, we also demonstrate that the L2O model's convergence rate in OOD scenarios will deteriorate by an equation of the L2O model's input features. Moreover, we propose an L2O model with a concise gradient-only feature construction and a novel gradient-based history modeling method. Numerical simulation demonstrates that our proposed model outperforms the state-of-the-art baseline in both InD and OOD scenarios and achieves up to 10 $\times$ convergence speedup. The code of our method can be found from https://github.com/NetX-lab/GoMathL2O-Official.
• Abstract（参考訳）: 学習を最適化する学習(L2O)は、学習に基づく手法で数学的最適化問題を解決する新しい手法である。 無線通信、コンピュータネットワーク、電子設計など多くの現実のシナリオで大きな成功を収めたが、既存のL2Oでは、アウト・オブ・ディストリビューション(OOD)シナリオにおける性能と堅牢性の理論的実証が欠如している。 このギャップには包括的証明を提供することで対処する。 まず、全てのIn-Distribution (InD) インスタンスに対して等質収束率を持つロバストなL2Oモデルに対する十分条件を証明する。 我々は、L2OモデルがInDシナリオのロバスト性を達成すると仮定する。 また,OOD問題とInD問題との整合性を示す手法を提案するとともに,L2Oモデルの入力特徴の方程式により,OODシナリオにおけるL2Oモデルの収束率が低下することを示した。 さらに,厳密な勾配のみの特徴構造を持つL2Oモデルと,新しい勾配に基づく履歴モデリング手法を提案する。 数値シミュレーションにより,提案モデルがInDシナリオとOODシナリオの両方において最先端のベースラインを上回り,最大10$\times$コンバーゼンス・スピードアップを実現することを示す。 メソッドのコードはhttps://github.com/NetX-lab/GoMathL2O-Official.comから参照できます。

関連論文リスト

• Learning Provably Improves the Convergence of Gradient Descent [9.82454981262489]
  我々は L2O が自身の収束ハイライトに対する理論的裏付けを欠いていることを示す。 我々はL2Oモデルの収束を証明して、そのギャップを経験的に橋渡しする。 そこで我々は,勾配爆発を緩和し,理論結果の支持と拡張最適化を促進する戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-30T02:03:30Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Stochastic Two Points Method for Deep Model Zeroth-order Optimization [32.459322001738144]
  本稿では,勾配自由状態下での効率的な2点(S2P)アプローチを提案する。 一般および緩和された滑らか性仮定の下で、S2Pの理論収束性を示す。 我々は、VS2Pが深層モデルの目的を最適化するのに非常に効果的であることを示す。
  論文  参考訳（メタデータ） (2024-02-02T18:39:40Z)
• Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
  近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。 ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。 一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。 本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-29T19:37:28Z)
• Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
  近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。 既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。 本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。 そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:04:25Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Training Stronger Baselines for Learning to Optimize [119.35557905664832]
  最も単純なL2Oモデルであっても、より優れたトレーニングが可能であることを示します。 我々は、分析学の振る舞いを参考にして、非政治模倣学習を利用してL2O学習を指導する。 改良されたトレーニング技術は、様々な最先端のL2Oモデルにプラグインされ、即座に性能が向上する。
  論文  参考訳（メタデータ） (2020-10-18T20:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。