論文の概要: Block Majorization Minimization with Extrapolation and Application to $\beta$-NMF

• arxiv url: http://arxiv.org/abs/2401.06646v1
• Date: Fri, 12 Jan 2024 15:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 18:55:00.184742
• Title: Block Majorization Minimization with Extrapolation and Application to $\beta$-NMF
• Title（参考訳）: 外挿によるブロック磁化最小化と$\beta$-NMFへの応用
• Authors: Le Thi Khanh Hien, Valentin Leplat, Nicolas Gillis
• Abstract要約: マルチ最適化問題のクラスを解くために,外挿法 (BMMe) を用いたブロック行列化最小化法を提案する。 本稿では,Bregman分散を適応的に更新することにより,BMMeのブロック偏極パラメータをブロックミラー法として再構成可能であることを示す。 広範囲な実験を通じて,$beta$NMF に対する有意な加速 BM を実証的に説明する。
• 参考スコア（独自算出の注目度）: 17.97403029273243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a Block Majorization Minimization method with Extrapolation (BMMe) for solving a class of multi-convex optimization problems. The extrapolation parameters of BMMe are updated using a novel adaptive update rule. By showing that block majorization minimization can be reformulated as a block mirror descent method, with the Bregman divergence adaptively updated at each iteration, we establish subsequential convergence for BMMe. We use this method to design efficient algorithms to tackle nonnegative matrix factorization problems with the $\beta$-divergences ($\beta$-NMF) for $\beta\in [1,2]$. These algorithms, which are multiplicative updates with extrapolation, benefit from our novel results that offer convergence guarantees. We also empirically illustrate the significant acceleration of BMMe for $\beta$-NMF through extensive experiments.
• Abstract（参考訳）: マルチ凸最適化問題のクラスを解くために,外挿法(BMMe)を用いたブロック偏極最小化法を提案する。 BMMeの外挿パラメータは、新しい適応更新ルールを用いて更新される。 ブロックメジャー化最小化をブロックミラー降下法として再構成できることを示し,各イテレーションでブレグマン分岐を適応的に更新することにより,bmmeに対する後続収束を確立する。 この手法は,非負行列分解問題に対して,$\beta\in [1,2]$ の$\beta$-divergences (\beta$-nmf) を用いて効率的なアルゴリズムを設計する。 これらのアルゴリズムは乗法的更新と外挿を併用し、収束保証を提供する新しい結果の恩恵を受ける。 また,広範囲な実験により,$\beta$-nmf に対する bmme の大幅な加速を実証的に示す。

関連論文リスト

• Strictly Low Rank Constraint Optimization -- An Asymptotically $\mathcal{O}(\frac{1}{t^2})$ Method [5.770309971945476]
  最適解における空間性を促進するために,テキスト規則化を用いた非テキスト・非滑らかな問題のクラスを提案する。 我々のアルゴリズムは、滑らかな凸問題に対する一階法に対するネステロフの最適収束と全く同じ$Ofrac(t2)$の特異収束を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:55:41Z)
• Contextual Combinatorial Bandits with Probabilistically Triggered Arms [55.9237004478033]
  確率的に誘発される腕(C$2$MAB-T)を様々な滑らかさ条件下で検討した。 トリガー変調 (TPM) 条件の下では、C$2$-UC-Tアルゴリズムを考案し、後悔すべき$tildeO(dsqrtT)$を導出する。
  論文  参考訳（メタデータ） (2023-03-30T02:51:00Z)
• Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods [57.050204432302195]
  本研究では,2次スムーズな凸関数を最小化するための普遍的かつ適応的な2次法を提案する。 我々のアルゴリズムは、オラクルフィードバックが分散$sigma2$であるときに$O(sigma / sqrtT)$収束を達成し、決定論的オラクルで$O(1 / T3)$に収束を改善する。
  論文  参考訳（メタデータ） (2022-11-03T14:12:51Z)
• Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $\beta$-divergence [2.3787352248749376]
  他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。 標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。 我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-07-13T16:09:29Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)
• Log-based Sparse Nonnegative Matrix Factorization for Data Representation [55.72494900138061]
  非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。 そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。 提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:10Z)
• Block Alternating Bregman Majorization Minimization with Extrapolation [16.04690575393738]
  ブロック相対滑らか関数と適切な分離関数の和を目的とする非滑らかな非最適化問題のクラスを考える。 外部補間(BMME)を用いたBregmanMajorization-Minimizationフレームワークを交互に提案する。 より強い条件下でのペナル化非負行列に対するBMMEの有効性を実証した。
  論文  参考訳（メタデータ） (2021-07-09T12:47:00Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Joint Majorization-Minimization for Nonnegative Matrix Factorization with the $\beta$-divergence [4.468952886990851]
  本稿では、$beta$-divergenceの目的関数を持つ非負行列分解(NMF)に対する新しい乗法的更新を提案する。 種々のデータセット(顔画像,音声スペクトログラム,ハイパースペクトルデータ,歌曲数)を用いて実験結果を報告する。
  論文  参考訳（メタデータ） (2021-06-29T09:58:21Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。