論文の概要: Practical and Fast Momentum-Based Power Methods

• arxiv url: http://arxiv.org/abs/2108.09264v1
• Date: Fri, 20 Aug 2021 16:54:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 15:35:59.697780
• Title: Practical and Fast Momentum-Based Power Methods
• Title（参考訳）: 実用的・高速運動量ベース電力方式
• Authors: Tahseen Rabbani, Apollo Jain, Arjun Rajkumar, Furong Huang
• Abstract要約: Power Methodは、ストリーミングPCA、スペクトルクラスタリング、低ランク行列近似などの機械学習タスクに広く応用された古典的アルゴリズムである。 運動量に基づくスキームは、パワーメソッドの高速化に使用することができるが、既存のアルゴリズムで最適収束率を達成するには、実行時に利用できない追加のスペクトル情報に批判的に依存する。 遅延モーメント電力法 (DMPower) とストリーミング変種 (DMStream) と呼ぶ新しいモーメントベース電力法を提案する。 我々の手法は不正確なデフレを生かし、極端に最適に近い収束を達成することができる。
• 参考スコア（独自算出の注目度）: 7.223413715110717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The power method is a classical algorithm with broad applications in machine learning tasks, including streaming PCA, spectral clustering, and low-rank matrix approximation. The distilled purpose of the vanilla power method is to determine the largest eigenvalue (in absolute modulus) and its eigenvector of a matrix. A momentum-based scheme can be used to accelerate the power method, but achieving an optimal convergence rate with existing algorithms critically relies on additional spectral information that is unavailable at run-time, and sub-optimal initializations can result in divergence. In this paper, we provide a pair of novel momentum-based power methods, which we call the delayed momentum power method (DMPower) and a streaming variant, the delayed momentum streaming method (DMStream). Our methods leverage inexact deflation and are capable of achieving near-optimal convergence with far less restrictive hyperparameter requirements. We provide convergence analyses for both algorithms through the lens of perturbation theory. Further, we experimentally demonstrate that DMPower routinely outperforms the vanilla power method and that both algorithms match the convergence speed of an oracle running existing accelerated methods with perfect spectral knowledge.
• Abstract（参考訳）: Power Methodは、ストリーミングPCA、スペクトルクラスタリング、低ランク行列近似などの機械学習タスクに広く応用された古典的アルゴリズムである。 バニラパワー法の蒸留目的は、行列の最大の固有値(絶対値)とその固有ベクトルを決定することである。 運動量に基づくスキームは電力法を高速化するために用いられるが、既存のアルゴリズムで最適収束率を達成するには、実行時に利用できない追加のスペクトル情報に批判的に依存する。 本稿では,遅延運動量法 (dmpower) とストリーミング方式である遅延運動量ストリーミング法 (dmstream) の2つの新しい運動量ベース電力法を提案する。 提案手法は不正確なデフレを生かし, 極端に制約の少ないハイパーパラメータ要求でほぼ最適収束を実現することができる。 摂動論のレンズを通して両アルゴリズムの収束解析を行う。 さらに,dmpowerがバニラパワー法を日常的に上回っており,両アルゴリズムが完全なスペクトル知識を持つ既存の高速化手法を実行するoracleの収束速度と一致することを実験的に証明した。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
  本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。 イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。 実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
  論文  参考訳（メタデータ） (2024-07-30T17:03:19Z)
• Tensor networks based quantum optimization algorithm [0.0]
  最適化において、よく知られた古典的アルゴリズムの1つは電力反復である。 我々はこの落とし穴を回避するために量子化を提案する。 我々の手法はインスタンス非依存となり、量子コンピューティングの枠組みの中でブラックボックス最適化に対処することができる。
  論文  参考訳（メタデータ） (2024-04-23T13:49:11Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• An Adaptive Gradient Method with Energy and Momentum [0.0]
  目的関数の勾配に基づく最適化のための新しいアルゴリズムを提案する。 この方法は実装が簡単で、計算効率が良く、大規模機械学習問題に適している。
  論文  参考訳（メタデータ） (2022-03-23T04:48:38Z)
• Adiabatic Spectroscopy and a Variational Quantum Adiabatic Algorithm [0.7734726150561088]
  本稿では,アディバティック進化のスペクトルプロファイルに関する情報を得る方法を提案する。 本稿では、最適化された断熱経路に対する変分量子断熱アルゴリズム(VQAA)の概念を提案する。
  論文  参考訳（メタデータ） (2021-03-01T19:00:00Z)
• SMG: A Shuffling Gradient-Based Method with Momentum [25.389545522794172]
  機械学習の最適化に広く使われている2つの先進的なアイデアを組み合わせる。 我々はシャッフルに基づく新しいモーメント技術を開発した。 私たちのテストでは、新しいアルゴリズムの性能が向上しました。
  論文  参考訳（メタデータ） (2020-11-24T04:12:35Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Learning Centric Power Allocation for Edge Intelligence [84.16832516799289]
  分散データを収集し、エッジで機械学習を実行するエッジインテリジェンスが提案されている。 本稿では,経験的分類誤差モデルに基づいて無線リソースを割り当てるLCPA法を提案する。 実験の結果,提案したLCPAアルゴリズムは,他のパワーアロケーションアルゴリズムよりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-07-21T07:02:07Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。