論文の概要: DADA: Dual Averaging with Distance Adaptation

• arxiv url: http://arxiv.org/abs/2501.10258v1
• Date: Fri, 17 Jan 2025 15:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:58:49.834798
• Title: DADA: Dual Averaging with Distance Adaptation
• Title（参考訳）: DADA: 距離適応による2値平均化
• Authors: Mohammad Moshtaghifar, Anton Rodomanov, Daniil Vankov, Sebastian Stich,
• Abstract要約: 凸最適化問題を解くための新しい普遍勾配法を提案する。 我々のアルゴリズムであるDADA(Dual Averaging with Distance Adaptation)は、従来の2重平均方式に基づいている。 DADAは制約のない問題にも制約のない問題にも適用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present a novel universal gradient method for solving convex optimization problems. Our algorithm -- Dual Averaging with Distance Adaptation (DADA) -- is based on the classical scheme of dual averaging and dynamically adjusts its coefficients based on observed gradients and the distance between iterates and the starting point, eliminating the need for problem-specific parameters. DADA is a universal algorithm that simultaneously works for a broad spectrum of problem classes, provided the local growth of the objective function around its minimizer can be bounded. Particular examples of such problem classes are nonsmooth Lipschitz functions, Lipschitz-smooth functions, H\"older-smooth functions, functions with high-order Lipschitz derivative, quasi-self-concordant functions, and $(L_0,L_1)$-smooth functions. Crucially, DADA is applicable to both unconstrained and constrained problems, even when the domain is unbounded, without requiring prior knowledge of the number of iterations or desired accuracy.
• Abstract（参考訳）: 凸最適化問題を解くための新しい普遍勾配法を提案する。 我々のアルゴリズムであるDADA(Dual Averaging with Distance Adaptation)は、双対平均化の古典的なスキームに基づいて、観測された勾配と反復点と開始点の距離に基づいて係数を動的に調整し、問題固有のパラメータを不要にする。 DADAは様々な問題クラスに対して同時に機能する普遍的アルゴリズムであり、最小化器の周りの目的関数の局所的な成長は有界である。 そのような問題クラスの特に例としては、非滑らかリプシッツ函数、リプシッツ-滑らか関数、H\"古いスムース関数、高階リプシッツ微分を持つ関数、準自己調和関数、および$(L_0,L_1)$-滑らか関数がある。 重要なことに、DADは、反復数や所望の精度に関する事前の知識を必要とせず、ドメインが非有界である場合でも、制約のない問題と制約のない問題の両方に適用できる。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Optimization on a Finer Scale: Bounded Local Subgradient Variation Perspective [17.5796206457693]
  局所的な局所次変分の下での非滑らかな最適化問題について検討する。 得られた目的のクラスは、定義されたクラスに基づいて目的のクラスをカプセル化する。
  論文  参考訳（メタデータ） (2024-03-24T22:42:40Z)
• Convex Bi-Level Optimization Problems with Non-smooth Outer Objective Function [0.0]
  そこで,Bi-SGは,内的および外的目的関数の両面最適化問題と準線形率に対処することを示した。 生成列から最適解の集合への距離が 0 に収束することを証明した。
  論文  参考訳（メタデータ） (2023-07-17T05:03:53Z)
• Continuous Function Structured in Multilayer Perceptron for Global Optimization [0.0]
  線形ニューロンを持つ多層パーセプトロンの勾配情報は、大域的最小探索問題をベンチマークするために、関数微分を用いて修正される。 関数微分を用いて与えられた連続関数から導かれる勾配の風景は、ax+bニューロンの形で表現できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T14:50:50Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)
• Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions [4.389150156866014]
  近位分割アルゴリズムの固定点反復にインプリシット(ID)と自動微分(AD)を適用する。 これらのアルゴリズムによって生成される列のADが解写像の微分に収束することを示す。 FPAD(Fixed-Point Automatic Differentiation)と呼ばれる自動微分の変種については、逆モードADのメモリオーバーヘッド問題を改善する。
  論文  参考訳（メタデータ） (2022-08-05T11:27:55Z)
• Universal Online Convex Optimization Meets Second-order Bounds [74.0120666722487]
  ユニバーサルオンライン凸最適化のための簡単な戦略を提案する。 主要なアイデアは、オリジナルのオンライン機能を処理するための専門家のセットを構築し、線形化された損失に対してメタアルゴリズムをデプロイすることである。 このようにして、私たちはブラックボックスの専門家として、既成のオンライン問題解決者をプラグインして、問題依存の後悔の限界を提供することができます。
  論文  参考訳（メタデータ） (2021-05-08T11:43:49Z)
• Two-Stage Stochastic Optimization via Primal-Dual Decomposition and Deep Unrolling [86.85697555068168]
  2段階のアルゴリズム最適化は、様々な工学や科学的応用において重要な役割を果たす。 特に長期変数と短期変数が制約の中で結合されている場合、アルゴリズムは効率的ではない。 PDD-SSCAが既存のソリューションよりも優れたパフォーマンスを達成できることを示します。
  論文  参考訳（メタデータ） (2021-05-05T03:36:00Z)
• Global Convergence of Model Function Based Bregman Proximal Minimization Algorithms [17.740376367999705]
  連続微分可能関数のリプシッツ写像は様々な最適化アルゴリズムにおいて重要な役割を果たす。 モデル$L$madプロパティと呼ばれるグローバル収束アルゴリズムを提案します。
  論文  参考訳（メタデータ） (2020-12-24T08:09:22Z)
• A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features [52.856801164425086]
  目的関数を滑らかな局所関数と凸(おそらく非滑らか)結合関数の和とするマルチエージェント共有最適化問題について検討する。
  論文  参考訳（メタデータ） (2020-06-15T19:40:24Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。