論文の概要: Conic-Lifting for Learning-rate-free Convex Optimization

• arxiv url: http://arxiv.org/abs/2610.39531v1
• Date: Thu, 29 Oct 2026 07:29:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.473563
• Title: Conic-Lifting for Learning-rate-free Convex Optimization
• Title（参考訳）: 学習速度のない凸最適化のためのコニックリフティング
• Abstract要約: 我々は,非有界な凸領域上での学習速度を必要としないアルゴリズム群を開発した。 FTRL(Follow-the-Regularized-Leader)とOMD(Online Mirror Descent)をコーンに適用すると、ヒルベルト空間の有界領域上でコニックブラックウェルアルゴリズム(CBA)とコニックブラックウェルアルゴリズム(CBA$+$)が回復する。 また、勾配境界を必要としない非制約領域に対してパラメータフリーなアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 20.588682008158884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central topic in online and stochastic optimization is to design algorithms that do not require tuning of hyperparameters. Successful strategies in online learning include AdaGrad-style learning rates, Conic Blackwell algorithms, and parameter-free algorithms. However, these classes require different, often difficult, analyses. We develop a unifying family of Online Convex Optimization (OCO) algorithms that require no user-tuned learning rate on convex domains that may be unbounded. The construction lifts the domain to a cone by adding one scalar coordinate, an idea going back to Blackwell (1954). The lifted subgradients are orthogonal to the corresponding lifted decisions, leaving the comparator scale free to optimize in the regret analysis. Applying Follow-the-Regularized-Leader (FTRL) and Online Mirror Descent (OMD) on the cone recovers Conic Blackwell Algorithm (CBA) and Conic Blackwell Algorithm Plus (CBA$^+$) on bounded domains in Hilbert spaces and extends them to finite-dimensional normed spaces with a strongly convex squared norm. For arbitrary nonempty closed convex domains in these spaces, a known gradient bound yields parameter-free regret guarantees. Surprisingly, on an unconstrained Hilbert space, the construction recovers the Krichevsky--Trofimov (KT) coin-betting algorithm exactly. We also give a parameter-free algorithm for unconstrained domains that requires no gradient bound.
• Abstract（参考訳）: オンラインおよび確率最適化における中心的なトピックは、ハイパーパラメータのチューニングを必要としないアルゴリズムを設計することである。 オンライン学習で成功した戦略としては、AdaGradスタイルの学習率、Conic Blackwellアルゴリズム、パラメータフリーアルゴリズムなどがある。 しかし、これらのクラスは異なる、しばしば難しい分析を必要とする。 我々は,非有界な凸領域において,ユーザによる学習速度を必要としない,オンライン凸最適化(OCO)アルゴリズムの統一ファミリーを開発する。 この構成は、1つのスカラー座標を加えて領域を円錐に上げ、1954年にブラックウェルに遡る。 昇降した下位段階は、対応する昇降決定に直交し、補間器のスケールは、後悔の分析において最適化される。 円錐上にFTRL (Follow-the-Regularized-Leader) とオンラインミラー・ディクセント (Online Mirror Descent, OMD) を適用すると、ヒルベルト空間の有界領域上でコニック・ブラックウェル・アルゴリズム (CBA) とコニック・ブラックウェル・アルゴリズム (CBA$^+$) を回復し、強凸二乗ノルムを持つ有限次元ノルム空間に拡張する。 これらの空間における任意の空でない閉凸領域に対して、既知の勾配境界はパラメータフリーな後悔の保証をもたらす。 驚くべきことに、制約のないヒルベルト空間において、この構造はクリチェフスキー-トロフィモフ(KT)コインベッティングアルゴリズムを正確に回復する。 また、勾配境界を必要としない非制約領域に対してパラメータフリーなアルゴリズムを提案する。

関連論文リスト

• Rennala NSGD: Asynchronous Stochastic Optimization Beyond Euclidean Geometry [97.74082492419183]
  深層学習における非ユーデアン幾何学への依存について検討する。 半非同期分散勾配を導入し,ウォールタイムの複雑性を保証する。
  論文  参考訳（メタデータ） (2026-10-28T19:47:15Z)
• Online Convex Optimization with Heavy Tails: Old Algorithms, New Regrets, and Applications [7.195047020440563]
  オンライン凸最適化 (Online Convex Optimization, OCO) では、勾配が有限な場合、多くのアルゴリズムは確実にサブ線形後悔を保証する。 この研究は、より困難な重み付け設定において、OCOの異なる古いアルゴリズムを調べる。 注目すべきは、これらの後悔境界は全てのパラメータで完全に最適であることである。
  論文  参考訳（メタデータ） (2025-08-10T20:17:38Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Riemannian Projection-free Online Learning [5.918057694291832]
  プロジェクション操作は、オンライン勾配降下(OGD)のような最適化アルゴリズムにおける重要な要素である。 これは高次元の設定における計算上の制限や、不条件の制約セットを扱う際に悩まされる。 本稿では,曲面空間上でのオンライン測地線凸最適化において,線形後悔の保証を得る手法を提案する。
  論文  参考訳（メタデータ） (2023-05-30T18:22:09Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
  カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。 本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。 提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
  論文  参考訳（メタデータ） (2021-11-09T09:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。