論文の概要: Accelerating Optimization via Differentiable Stopping Time

• arxiv url: http://arxiv.org/abs/2505.22509v1
• Date: Wed, 28 May 2025 15:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.712445
• Title: Accelerating Optimization via Differentiable Stopping Time
• Title（参考訳）: 微分可能な停止時間による最適化の高速化
• Authors: Zhonglin Xie, Yiman Fong, Haoran Yuan, Zaiwen Wen,
• Abstract要約: 一般的な定式化は、与えられた時間に低い損失を達成することである。 目標損失に達するまでの時間を最小化する双対は、時間が異なるため、微分不可能であると考えられている。 本稿では、微分方程式に基づいて、微分可能な停止時間を提案し、理論的に正当化する。
• 参考スコア（独自算出の注目度）: 5.043563227694138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimization is an important module of modern machine learning applications. Tremendous efforts have been made to accelerate optimization algorithms. A common formulation is achieving a lower loss at a given time. This enables a differentiable framework with respect to the algorithm hyperparameters. In contrast, its dual, minimizing the time to reach a target loss, is believed to be non-differentiable, as the time is not differentiable. As a result, it usually serves as a conceptual framework or is optimized using zeroth-order methods. To address this limitation, we propose a differentiable stopping time and theoretically justify it based on differential equations. An efficient algorithm is designed to backpropagate through it. As a result, the proposed differentiable stopping time enables a new differentiable formulation for accelerating algorithms. We further discuss its applications, such as online hyperparameter tuning and learning to optimize. Our proposed methods show superior performance in comprehensive experiments across various problems, which confirms their effectiveness.
• Abstract（参考訳）: 最適化は現代の機械学習アプリケーションの重要なモジュールである。 最適化アルゴリズムの高速化に多くの努力がなされている。 一般的な定式化は、与えられた時間に低い損失を達成することである。 これにより、アルゴリズムのハイパーパラメータに関して、微分可能なフレームワークが可能になる。 対照的に、目標損失に達するまでの時間を最小化する双対は、時間が異なるため、微分不可能であると考えられている。 結果として、通常は概念的なフレームワークとして機能するか、ゼロ階法で最適化される。 この制限に対処するため、微分方程式に基づいて、微分可能な停止時間を提案し、理論的に正当化する。 効率的なアルゴリズムは、それを通してバックプロパゲーションするように設計されている。 その結果、提案した微分可能停止時間により、アルゴリズムの高速化のための新しい微分可能定式化が可能となった。 さらに、オンラインハイパーパラメータチューニングや最適化学習などの応用についても論じる。 提案手法は,様々な問題を対象とした総合的な実験において優れた性能を示し,その有効性を確認した。

関連論文リスト

• DiffIM: Differentiable Influence Minimization with Surrogate Modeling and Continuous Relaxation [23.06479920145709]
  影響最小化(IMIN)は、ノード間の伝播を減らすために入力グラフの構造を操作する問題である。 DiffIMは、加速のための2つの異なるスキームを持つIMINの新しい手法である。 提案手法は,IMINの性能劣化をほとんど(あるいは全く)伴わず,性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-02-03T03:54:23Z)
• Gradient Descent Efficiency Index [0.0]
  本研究では,各イテレーションの有効性を定量化するために,新しい効率指標Ekを導入する。 提案した測定基準は、誤差の相対的変化と繰り返し間の損失関数の安定性の両方を考慮に入れている。 Ekは、機械学習アプリケーションにおける最適化アルゴリズムの選択とチューニングにおいて、より詳細な決定を導く可能性がある。
  論文  参考訳（メタデータ） (2024-10-25T10:22:22Z)
• Locally Regularized Neural Differential Equations: Some Black Boxes Were Meant to Remain Closed! [3.222802562733787]
  ニューラル微分方程式のような暗黙の層深層学習技術は重要なモデリングフレームワークとなっている。 パフォーマンスとトレーニング時間をトレードオフする2つのサンプリング戦略を開発します。 本手法は,関数評価を0.556-0.733xに削減し,予測を1.3-2xに高速化する。
  論文  参考訳（メタデータ） (2023-03-03T23:31:15Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。