論文の概要: Level Set Teleportation: An Optimization Perspective

• arxiv url: http://arxiv.org/abs/2403.03362v2
• Date: Tue, 18 Mar 2025 17:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 16:29:09.553736
• Title: Level Set Teleportation: An Optimization Perspective
• Title（参考訳）: Level Set Teleportation: 最適化の観点から
• Authors: Aaron Mishkin, Alberto Bietti, Robert M. Gower,
• Abstract要約: 勾配降下(GD)を加速しようとする最適化ルーチンであるレベルセットテレポーテーションについて検討する。 テレポーテーションはより大きなステップでGDを直感的に高速化するが、現在の目的は凸収束の理論を欠いている。 これは、テレポーテーションが改善も収束もしない標準的な(強く)設定とは対照的である。
• 参考スコア（独自算出の注目度）: 21.84775414778289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study level set teleportation, an optimization routine which tries to accelerate gradient descent (GD) by maximizing the gradient norm over a level set of the objective. While teleportation intuitively speeds-up GD via bigger steps, current work lacks convergence theory for convex functions, guarantees for solving the teleportation operator, and even clear empirical evidence showing this acceleration. We resolve these open questions. For convex functions satisfying Hessian stability, we prove that GD with teleportation obtains a combined sub-linear/linear convergence rate which is strictly faster than GD when the optimality gap is small. This is in sharp contrast to the standard (strongly) convex setting, where teleportation neither improves nor worsens convergence. To evaluate teleportation in practice, we develop a projected-gradient method requiring only Hessian-vector products. We use this to show that gradient methods with access to a teleportation oracle out-perform their standard versions on a variety of problems. We also find that GD with teleportation is faster than truncated Newton methods, particularly for non-convex optimization.
• Abstract（参考訳）: 目的のレベルセット上の勾配ノルムを最大化することにより、勾配降下(GD)を加速しようとする最適化ルーチンであるレベルセットテレポーテーションについて検討する。 テレポーテーションはより大きなステップでGDを直感的に高速化するが、現在の作業には凸関数の収束理論、テレポーテーション作用素の解決の保証、さらにこの加速を示す明確な実証的な証拠さえ欠けている。 私たちはこれらのオープンな疑問を解決します。 ヘッセン安定度を満たす凸関数に対して、テレポーテーションを持つGDが、最適性ギャップが小さいときにGDよりも厳密に高速な組合せ線形/線形収束率を得ることを示す。 これは、テレポーテーションが改善も悪化もしない標準の(強く)凸設定とは対照的である。 そこで本研究では,ヘッセン・ベクター製品のみを必要とするプロジェクテッド・グラディエント手法を開発した。 この手法を用いて,テレポーテーション・オラクルにアクセス可能な勾配法が,様々な問題において標準バージョンより優れた性能を発揮することを示す。 また、特に非凸最適化において、遠隔転送によるGDは、切り刻まれたニュートン法よりも高速であることがわかった。

関連論文リスト

• Teleportation With Null Space Gradient Projection for Optimization Acceleration [31.641252776379957]
  本稿では,テレポーテーション対象関数の勾配を入力ヌル空間に投影するアルゴリズムを提案する。 我々のアプローチは、容易にCNNからトランスフォーマー、そして潜在的に他の高度なアーキテクチャへ一般化できる。
  論文  参考訳（メタデータ） (2025-02-17T02:27:16Z)
• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
  我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。 我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。 我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
  論文  参考訳（メタデータ） (2024-03-06T22:24:05Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)
• Parameter-free projected gradient descent [0.0]
  我々は、射影勾配 Descent (PGD) を用いて、閉凸集合上の凸関数を最小化する問題を考える。 本稿では,AdaGradのパラメータフリーバージョンを提案する。これは初期化と最適化の距離に適応し,下位段階の平方ノルムの和に適応する。 提案アルゴリズムはプロジェクションステップを処理でき、リスタートを伴わず、従来のPGDと比較して軌道に沿ってリウィーディングや追加評価を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T07:22:44Z)
• Improving Convergence and Generalization Using Parameter Symmetries [34.863101622189944]
  異なる曲率を持つミニマへのテレポーティングにより一般化が向上し,最小曲率と一般化能力の関連性が示唆された。 本結果は, テレポーテーションの汎用性を示し, 最適化に対称性を組み込むことの可能性を示した。
  論文  参考訳（メタデータ） (2023-05-22T18:35:42Z)
• Realistic continuous-variable quantum teleportation using a displaced Fock state channel [3.42658286826597]
  本稿では,Fock状態リソースの絡み合いにより実現された理想的かつ非理想的連続可変量子テレポーテーションプロトコルについて検討する。 このような単一モードの入力場の場合、平均忠実度は古典的なしきい値のままであり、転位したフォック状態はテレポーテーションに有利ではないことが示唆される。
  論文  参考訳（メタデータ） (2023-04-11T09:30:49Z)
• Minimum Latency Deep Online Video Stabilization [77.68990069996939]
  本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。 我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-12-05T07:37:32Z)
• Symmetry Teleportation for Accelerated Optimization [21.989906418276906]
  我々は、パラメータが損失レベルセット上で大きな距離を移動できるようにする、異なるアプローチ、対称性のテレポーテーションについて研究する。 テスト関数と多層ニューラルネットワークの損失不変群作用を導出し,テレポーテーションが収束率を向上するために必要な条件を証明した。 実験により,テスト関数,多層回帰,MNIST分類などの最適化問題に対して,テレポーテーションにより勾配降下とAdaGradの収束速度が向上することを示した。
  論文  参考訳（メタデータ） (2022-05-21T16:39:21Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Decreasing scaling transition from adaptive gradient descent to stochastic gradient descent [1.7874193862154875]
  本稿では,適応勾配降下法から勾配勾配降下法DSTAdaへのスケーリング遷移を減少させる手法を提案する。 実験の結果,DSTAdaは高速で精度が高く,安定性と堅牢性も向上した。
  論文  参考訳（メタデータ） (2021-06-12T11:28:58Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Parameter-free Locally Accelerated Conditional Gradients [91.19349793915615]
  私たちは小説を紹介します。 自由局所加速cg(pf-lacg)アルゴリズムは,厳密な収束保証を提供する。 我々の理論結果は,局所加速度を実証し,非加速アルゴリズムに対するPF-LaCGの実用的改善を示す数値実験によって補完される。
  論文  参考訳（メタデータ） (2021-02-12T22:50:01Z)
• Optimal tests for continuous-variable quantum teleportation and photodetectors [4.3748379918040845]
  CVテレポーテーションの最適状態は双対Fock状態の絡み合った重ね合わせであることを示す。 これらの結果は、CVテレポーテーションと光検出器を利用する実験に関係している。
  論文  参考訳（メタデータ） (2020-12-04T18:18:09Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Walking in the Shadow: A New Perspective on Descent Directions for Constrained Minimization [29.861939940760898]
  影内移動の連続時間ダイナミクスは、投影勾配降下(PGD)のダイナミクスと等価であることを示す。 我々はこれらの知見を,線形収束を楽しみながらFWとシャドウステップを利用する新しいシャドウ-CG手法に組み合わせる。 単純なポリトープに対するブレークポイント数に対する線形境界と、一般的なポリトープに対するスケーリング不変な上限を与える。
  論文  参考訳（メタデータ） (2020-06-15T14:26:56Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。