論文の概要: Simple Alternating Minimization Provably Solves Complete Dictionary Learning

• arxiv url: http://arxiv.org/abs/2210.12816v2
• Date: Wed, 05 Mar 2025 02:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 17:18:39.185969
• Title: Simple Alternating Minimization Provably Solves Complete Dictionary Learning
• Title（参考訳）: 簡単な交替最小化は、おそらく完全な辞書学習を両立させる
• Authors: Geyu Liang, Gavin Zhang, Salar Fattahi, Richard Y. Zhang,
• Abstract要約: 本稿では,ノイズ完全辞書学習問題に焦点をあてる。 目的は、与えられた信号の集合を、学習された辞書から少数の原子の線形結合として表現することである。
• 参考スコア（独自算出の注目度）: 17.68684502400794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper focuses on the noiseless complete dictionary learning problem, where the goal is to represent a set of given signals as linear combinations of a small number of atoms from a learned dictionary. There are two main challenges faced by theoretical and practical studies of dictionary learning: the lack of theoretical guarantees for practically-used heuristic algorithms and their poor scalability when dealing with huge-scale datasets. Towards addressing these issues, we propose a simple and efficient algorithm that provably recovers the ground truth when applied to the nonconvex and discrete formulation of the problem in the noiseless setting. We also extend our proposed method to mini-batch and online settings where the data is huge-scale or arrives continuously over time. At the core of our proposed method lies an efficient preconditioning technique that transforms the unknown dictionary to a near-orthonormal one, for which we prove a simple alternating minimization technique converges linearly to the ground truth under minimal conditions. Our numerical experiments on synthetic and real datasets showcase the superiority of our method compared with the existing techniques.
• Abstract（参考訳）: 本稿は、与えられた信号の集合を学習辞書から少数の原子の線形結合として表現することを目的とする、ノイズレス完全辞書学習問題に焦点を当てる。 辞書学習の理論的および実践的な研究には、実用的なヒューリスティックアルゴリズムの理論的保証の欠如と、大規模なデータセットを扱う際のスケーラビリティの低下という2つの大きな課題がある。 これらの問題に対処するために、ノイズレス環境における問題の非凸および離散的定式化に適用した場合に、基礎的真理を確実に回復する単純かつ効率的なアルゴリズムを提案する。 また、提案手法を、データを大規模にしたり、時間とともに継続的に到着するミニバッチおよびオンライン設定に拡張する。 提案手法のコアとなるのは,未知の辞書をほぼ正規の辞書に変換する,効率的な事前条件付け手法である。 合成および実データに対する数値実験により,既存の手法と比較して,本手法の優位性を示した。

関連論文リスト

• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Dictionary Learning Using Rank-One Atomic Decomposition (ROAD) [6.367823813868024]
  辞書学習は、訓練データを疎に表現できる辞書を求めることを目的としている。 Roadは、合成データと実データの両方で、他のベンチマークアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2021-10-25T10:29:52Z)
• Label-Descriptive Patterns and their Application to Characterizing Classification Errors [31.272875287136426]
  最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。 これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。 本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T19:42:21Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Efficient First-Order Contextual Bandits: Prediction, Allocation, and Triangular Discrimination [82.52105963476703]
  統計的学習、オンライン学習、その他における繰り返しのテーマは、低騒音の問題に対してより速い収束率が可能であることである。 1次保証は統計的およびオンライン学習において比較的よく理解されている。 三角識別と呼ばれる対数損失と情報理論量が一階保証を得る上で基本的な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:20:34Z)
• PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
  本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。 我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。 合成および画像復号化実験により,本研究の成果を補完する。
  論文  参考訳（メタデータ） (2021-05-31T18:49:58Z)
• Efficient Sparse Coding using Hierarchical Riemannian Pursuit [2.4087148947930634]
  スパース符号化は、辞書と符号の線形結合の形で入力データの表現を学ぶための監視されていない方法のクラスである。 完全辞書を用いたスパース符号化タスクのための効率的な合成状態スキームを提案する。
  論文  参考訳（メタデータ） (2021-04-21T02:16:44Z)
• Online Orthogonal Dictionary Learning Based on Frank-Wolfe Method [3.198144010381572]
  辞書学習は信号処理や機械学習で広く使われている教師なし学習手法である。 提案手法は,新しい問題定式化と収束解析を用いた効率的なオンラインアルゴリズム設計を含む。 合成データと実世界のセンサ読み取り実験により,提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2021-03-02T05:49:23Z)
• Autoregressive Belief Propagation for Decoding Block Codes [113.38181979662288]
  誤り訂正符号の復号化にグラフニューラルネットワークを用いた最近の手法を再検討する。 本手法は,他手法がゼロワードでのみ学習できる対称性条件に反する。 1つの単語でトレーニングする余地がなく、関連するサンプル空間のごく一部でトレーニングできないにもかかわらず、効果的なトレーニングを実演する。
  論文  参考訳（メタデータ） (2021-01-23T17:14:55Z)
• Accelerated Sparse Bayesian Learning via Screening Test and Its Applications [0.9916217495995309]
  線形系では、過度に完備な特徴の辞書を具備した最小の解を求めるのは通常NPハードである。 本稿では,解の空間性を促進するためにパラメータ化を事前に用いた疎ベイズ学習を提案する。
  論文  参考訳（メタデータ） (2020-07-08T10:21:56Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。