論文の概要: Conic Descent Redux for Memory-Efficient Optimization

• arxiv url: http://arxiv.org/abs/2308.07343v1
• Date: Sun, 13 Aug 2023 13:29:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 15:18:03.296471
• Title: Conic Descent Redux for Memory-Efficient Optimization
• Title（参考訳）: メモリ効率最適化のためのコニックDescent Redux
• Authors: Bingcong Li, Georgios B. Giannakis
• Abstract要約: 円錐型プログラミングは、信号処理と機械学習タスクの多用において、十分に文書化された利点がある。 このコントリビューションは、最近開発された1次円錐降下(CD)ソルバを再検討し、直観、理論、アルゴリズム実装の3つの側面でそれを前進させる。
• 参考スコア（独自算出の注目度）: 48.908966673827734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conic programming has well-documented merits in a gamut of signal processing and machine learning tasks. This contribution revisits a recently developed first-order conic descent (CD) solver, and advances it in three aspects: intuition, theory, and algorithmic implementation. It is found that CD can afford an intuitive geometric derivation that originates from the dual problem. This opens the door to novel algorithmic designs, with a momentum variant of CD, momentum conic descent (MOCO) exemplified. Diving deeper into the dual behavior CD and MOCO reveals: i) an analytically justified stopping criterion; and, ii) the potential to design preconditioners to speed up dual convergence. Lastly, to scale semidefinite programming (SDP) especially for low-rank solutions, a memory efficient MOCO variant is developed and numerically validated.
• Abstract（参考訳）: conicプログラミングは、信号処理と機械学習タスクの多種多様な分野において、十分に文書化されている。 この貢献は、最近開発された一階円錐降下(cd)ソルバを再検討し、直観、理論、アルゴリズム実装の3つの側面でそれを発展させる。 CD は双対問題に由来する直感的な幾何学的導出が可能であることが判明した。 これは新しいアルゴリズム設計への扉を開き、CDの運動量変化、運動量円錐降下(MOCO)を例示する。 デュアルビヘイビアCDとMOCOに深く入り込むと、次のことが分かる。 一 分析上正当化された停止基準、及び 二 二重収束を早めるためのプレコンディショナーを設計する可能性 最後に、特に低ランクソリューションに対して半定値プログラミング(SDP)をスケールするために、メモリ効率の良いMOCO変種を開発し、数値的に検証する。

関連論文リスト

• Scalable Dual Coordinate Descent for Kernel Methods [0.0]
  本稿では,カーネルサポートベクトルマシン(K-SVM)とカーネルリッジ回帰(K-RR)問題に対して,スケーラブルなデュアルコーディネートDescent(DCD)とブロックデュアルコーディネートDescent(BDCD)手法を開発する。 K-SVM と K-RR の問題をそれぞれ解くために DCD と BDCD の $s$-step 変種を導出する。 新しい$s$-stepは、最大512ドルのコアを使用する既存のメソッドよりも、9.8タイムの強力なスケーリングスピードアップを実現した。
  論文  参考訳（メタデータ） (2024-06-26T01:10:07Z)
• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• LSAP: Rethinking Inversion Fidelity, Perception and Editability in GAN Latent Space [42.56147568941768]
  本稿では,正規化スタイル空間と$mathcalSN$ Cosine Distanceを導入し,逆法の不整合を計測する。 提案するSNCDは,エンコーダ方式と最適化方式の両方で最適化可能であり,一様解を実現することができる。
  論文  参考訳（メタデータ） (2022-09-26T14:55:21Z)
• Accelerated Convergence of Contracted Quantum Eigensolvers through a Quasi-Second-Order, Locally Parameterized Optimization [0.0]
  収縮量子固有解法(CQE)は、量子コンピュータ上の多電子シュリンガー方程式の解を求める。 本研究では,古典最適化理論のツールを用いて,CQEとその波動関数アンサッツの収束を加速する。
  論文  参考訳（メタデータ） (2022-05-03T18:48:04Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Graph Signal Restoration Using Nested Deep Algorithm Unrolling [85.53158261016331]
  グラフ信号処理は、センサー、社会交通脳ネットワーク、ポイントクラウド処理、グラフネットワークなど、多くのアプリケーションにおいてユビキタスなタスクである。 凸非依存型深部ADMM(ADMM)に基づく2つの復元手法を提案する。 提案手法のパラメータはエンドツーエンドでトレーニング可能である。
  論文  参考訳（メタデータ） (2021-06-30T08:57:01Z)
• Momentum-inspired Low-Rank Coordinate Descent for Diagonally Constrained SDPs [12.7944665592057]
  本稿では,制約付き半有限計画法(SDP)を高速化した非自明なプログラムを用いて大規模に解くための,新しい,実用的で証明可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-16T13:35:40Z)
• SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
  近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。 トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。 本稿では,この計算ボトルネックに対処する新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:07:34Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。