論文の概要: Searching for Optimal Per-Coordinate Step-sizes with Multidimensional Backtracking

• arxiv url: http://arxiv.org/abs/2306.02527v1
• Date: Mon, 5 Jun 2023 01:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 17:15:52.442775
• Title: Searching for Optimal Per-Coordinate Step-sizes with Multidimensional Backtracking
• Title（参考訳）: 多次元バックトラッキングを用いた最適冷媒ステップサイズ探索
• Authors: Frederik Kunstner, Victor S. Portella, Mark Schmidt and Nick Harvey
• Abstract要約: 滑らかな凸問題に対する優れた対角前処理器を見つけるために,バックトラックライン探索の拡張である多次元バックトラックを提案する。 我々の重要な洞察は、高次数と呼ばれるステップサイズに対する勾配は、超平面を分離する。 楕円体法のようなブラックボックス切断面アプローチは計算が禁じられているため、我々は我々の設定に合わせて効率的なアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 18.722979110796242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The backtracking line-search is an effective technique to automatically tune the step-size in smooth optimization. It guarantees similar performance to using the theoretically optimal step-size. Many approaches have been developed to instead tune per-coordinate step-sizes, also known as diagonal preconditioners, but none of the existing methods are provably competitive with the optimal per-coordinate stepsizes. We propose multidimensional backtracking, an extension of the backtracking line-search to find good diagonal preconditioners for smooth convex problems. Our key insight is that the gradient with respect to the step-sizes, also known as hypergradients, yields separating hyperplanes that let us search for good preconditioners using cutting-plane methods. As black-box cutting-plane approaches like the ellipsoid method are computationally prohibitive, we develop an efficient algorithm tailored to our setting. Multidimensional backtracking is provably competitive with the best diagonal preconditioner and requires no manual tuning.
• Abstract（参考訳）: バックトラックライン探索は、スムーズな最適化においてステップサイズを自動的に調整する効果的な手法である。 理論上最適なステップサイズの使用と同等の性能を保証する。 代わりに、対角的プレコンディショナー (diagonal preconditioners) としても知られるステップサイズを調整するために多くのアプローチが開発されているが、既存の手法は最適のステップサイズと確実に競合するものではない。 本研究では,滑らかな凸問題に対して,逆追跡線探索の拡張として多次元バックトラックを提案する。 私たちの重要な洞察は、ステップサイズに関する勾配(hypergradientsとしても知られる)は、切り取り平面法を用いて良い前提条件子を探索できる超平面を分離する。 楕円体法のようなブラックボックス切断面アプローチは計算が禁じられているため、我々は設定に合わせて効率的なアルゴリズムを開発する。 多次元バックトラッキングは最高の対角プレコンディショナーと競合し、手動チューニングを必要としない。

関連論文リスト

• Learning Algorithm Hyperparameters for Fast Parametric Convex Optimization [2.0403774954994858]
  本稿では,一階法のハイパーパラメータ列を学習するための機械学習フレームワークを提案する。 いくつかのアルゴリズムのハイパーパラメータの学習方法を示す。 本稿では,制御,信号処理,機械学習など,多くの例を用いて本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-11-24T04:58:36Z)
• Second-Order Forward-Mode Automatic Differentiation for Optimization [10.783826845783745]
  本稿では,2階の高平面探索を行から$k$次元の高平面への2階の線探索を一般化する新しい最適化ステップとして紹介する。 これはフォワードモード勾配法と組み合わせて、フォワードパスのみからなる2階最適化アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2024-08-19T21:12:41Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization [32.939120407900035]
  私たちのアルゴリズムは、イテレーション毎に1つの線形システムだけを解決する必要のある、単純な更新ルールを備えています。 また,提案アルゴリズムの実用性能を,既存の2次アルゴリズムと比較して評価した。
  論文  参考訳（メタデータ） (2024-06-04T06:56:41Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
  本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
  論文  参考訳（メタデータ） (2023-02-06T23:39:13Z)
• Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
  本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。 これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T00:50:30Z)
• Efficient Projection-Free Online Convex Optimization with Membership Oracle [11.745866777357566]
  ユークリッド球上で定義された任意のアルゴリズムAを、球に含まれる制約付き集合 C 上のアルゴリズムに変換する新しい還元法を提案する。 我々の削減には、O(T log T) を T ラウンド後に C 上で Oracle に呼び出しる必要があり、C 上の線形最適化は不要である。
  論文  参考訳（メタデータ） (2021-11-10T17:22:29Z)
• Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
  勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。 知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
  論文  参考訳（メタデータ） (2021-10-06T05:14:53Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。