論文の概要: Searching for Optimal Per-Coordinate Step-sizes with Multidimensional
Backtracking
- arxiv url: http://arxiv.org/abs/2306.02527v1
- Date: Mon, 5 Jun 2023 01:23:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 17:15:52.442775
- Title: Searching for Optimal Per-Coordinate Step-sizes with Multidimensional
Backtracking
- Title(参考訳): 多次元バックトラッキングを用いた最適冷媒ステップサイズ探索
- Authors: Frederik Kunstner, Victor S. Portella, Mark Schmidt and Nick Harvey
- Abstract要約: 滑らかな凸問題に対する優れた対角前処理器を見つけるために,バックトラックライン探索の拡張である多次元バックトラックを提案する。
我々の重要な洞察は、高次数と呼ばれるステップサイズに対する勾配は、超平面を分離する。
楕円体法のようなブラックボックス切断面アプローチは計算が禁じられているため、我々は我々の設定に合わせて効率的なアルゴリズムを開発した。
- 参考スコア(独自算出の注目度): 18.722979110796242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The backtracking line-search is an effective technique to automatically tune
the step-size in smooth optimization. It guarantees similar performance to
using the theoretically optimal step-size. Many approaches have been developed
to instead tune per-coordinate step-sizes, also known as diagonal
preconditioners, but none of the existing methods are provably competitive with
the optimal per-coordinate stepsizes. We propose multidimensional backtracking,
an extension of the backtracking line-search to find good diagonal
preconditioners for smooth convex problems. Our key insight is that the
gradient with respect to the step-sizes, also known as hypergradients, yields
separating hyperplanes that let us search for good preconditioners using
cutting-plane methods. As black-box cutting-plane approaches like the ellipsoid
method are computationally prohibitive, we develop an efficient algorithm
tailored to our setting. Multidimensional backtracking is provably competitive
with the best diagonal preconditioner and requires no manual tuning.
- Abstract(参考訳): バックトラックライン探索は、スムーズな最適化においてステップサイズを自動的に調整する効果的な手法である。
理論上最適なステップサイズの使用と同等の性能を保証する。
代わりに、対角的プレコンディショナー (diagonal preconditioners) としても知られるステップサイズを調整するために多くのアプローチが開発されているが、既存の手法は最適のステップサイズと確実に競合するものではない。
本研究では,滑らかな凸問題に対して,逆追跡線探索の拡張として多次元バックトラックを提案する。
私たちの重要な洞察は、ステップサイズに関する勾配(hypergradientsとしても知られる)は、切り取り平面法を用いて良い前提条件子を探索できる超平面を分離する。
楕円体法のようなブラックボックス切断面アプローチは計算が禁じられているため、我々は設定に合わせて効率的なアルゴリズムを開発する。
多次元バックトラッキングは最高の対角プレコンディショナーと競合し、手動チューニングを必要としない。
関連論文リスト
- A simple uniformly optimal method without line search for convex
optimization [10.963511172615158]
パラメータが優先されていない凸最適化問題の解法として最適収束率を得るには,線探索が過剰であることを示す。
滑らかな凸最適化のために最適な$mathcalO (1/k2)$収束率を達成できるAC-FGMと呼ばれる新しい勾配降下型アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-16T05:26:03Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳(メタデータ) (2023-07-17T20:11:56Z) - Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。
本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
論文 参考訳(メタデータ) (2023-02-06T23:39:13Z) - Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive
Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。
これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文 参考訳(メタデータ) (2021-12-30T00:50:30Z) - Bolstering Stochastic Gradient Descent with Model Building [0.0]
勾配降下法とその変種は、優れた収束率を達成するためのコア最適化アルゴリズムを構成する。
本稿では,前方ステップモデル構築に基づく新しいアルゴリズムを用いて,線探索の代替手法を提案する。
提案アルゴリズムは、よく知られたテスト問題において、より高速な収束とより優れた一般化を実現する。
論文 参考訳(メタデータ) (2021-11-13T06:54:36Z) - Efficient Projection-Free Online Convex Optimization with Membership
Oracle [11.745866777357566]
ユークリッド球上で定義された任意のアルゴリズムAを、球に含まれる制約付き集合 C 上のアルゴリズムに変換する新しい還元法を提案する。
我々の削減には、O(T log T) を T ラウンド後に C 上で Oracle に呼び出しる必要があり、C 上の線形最適化は不要である。
論文 参考訳(メタデータ) (2021-11-10T17:22:29Z) - Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。
知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
論文 参考訳(メタデータ) (2021-10-06T05:14:53Z) - Hybrid Trilinear and Bilinear Programming for Aligning Partially
Overlapping Point Sets [85.71360365315128]
多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。
まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。
次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-01-19T04:24:23Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳(メタデータ) (2020-11-09T22:07:30Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。