論文の概要: Iterative Atom Refinement: A Monotonicity Principle for Dictionary Learning
- arxiv url: http://arxiv.org/abs/2609.23812v1
- Date: Sun, 20 Sep 2026 19:04:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.002505
- Title: Iterative Atom Refinement: A Monotonicity Principle for Dictionary Learning
- Title（参考訳）: 反復的なAtomリファインメント:辞書学習のための単調な原理
- Abstract要約: 本稿では,個々の辞書を復元する簡単な手法であるEmphIterative Atom Refinement (IAR)アルゴリズムを紹介する。
我々の主な貢献は、IARの厳密な収束理論である。
- 参考スコア（独自算出の注目度）: 37.71396977579353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dictionary learning seeks to recover an unknown dictionary $A$ from observations ${\bf y}_i = A{\bf x}_i$ with sparse coefficient vectors ${\bf x}_i$. We introduce the \emph{Iterative Atom Refinement} (IAR) algorithm, a simple procedure for recovering individual dictionary atoms. Starting from a random direction, IAR repeatedly selects the observations most strongly correlated with the current iterate and updates the direction by averaging the selected data. Our main contribution is a rigorous convergence theory of IAR. Using high-dimensional probabilistic estimates and a novel monotonicity principle for atom-selection probabilities, we show that a small initial advantage of one atom is amplified until that atom is isolated. Under our model assumptions, IAR identifies a generating atom after only three refinement steps. Numerical experiments support the theory and show that the resulting dynamics accurately capture the behavior observed in dictionary refinement.
- Abstract（参考訳）: 辞書学習は未知の辞書$A$を観測値${\bf y}_i = A{\bf x}_i$とスパース係数ベクトル${\bf x}_i$から回収しようとする。
本稿では,個々の辞書原子を復元する簡単な手法である \emph{Iterative Atom Refinement} (IAR) アルゴリズムを提案する。
ランダムな方向から、IARは、現在の反復と最も強く相関した観測を繰り返し選択し、選択したデータの平均化によって方向を更新する。
我々の主な貢献は、IARの厳密な収束理論である。
原子選択確率に対する高次元確率推定と新しい単調性原理を用いて、その原子が分離されるまでは、原子の小さな初期優位性が増幅されることを示す。
我々のモデル仮定では、IARはわずか3つの精製段階の後に生成原子を同定する。
数値実験は、この理論を支持し、結果のダイナミクスが辞書の精査で観察された振る舞いを正確に捉えていることを示す。
関連論文リスト
- A Unified Probabilistic Framework for Dictionary Learning with Parsimonious Activation [10.775460285501739]
行列行列の行ワイズ$L_infty$ノルムに基づいて正規化を促進させるパーシモニーを導入する。
この追加のペナルティにより係数行列の全行が消滅し、データセット全体で活性化される辞書原子の数が減少する。
論文 参考訳（メタデータ） (2025-09-30T02:46:11Z) - Atom dimension adaptation for infinite set dictionary learning [0.6554326244334866]
辞書学習における集合原子のサイズを適応的に調整する手法を提案する。
提案アルゴリズムは表現誤差を低減させるだけでなく,異常検出も改善する。
論文 参考訳（メタデータ） (2024-09-10T19:18:03Z) - Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic
Interpretability: A Case Study on Othello-GPT [59.245414547751636]
本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。
当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。
我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
論文 参考訳（メタデータ） (2024-02-19T15:04:53Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Convergence of alternating minimisation algorithms for dictionary
learning [4.5687771576879594]
辞書学習のための2つの交互最小化アルゴリズムの収束に十分な条件を導出する。
我々は、生成辞書に少なくとも1/log(K)$の距離で、あるいは、初期化の各要素が1つの生成要素のみを指していることを保証する特別な構造を持つような、よく知られた初期化が与えられた場合、どちらのアルゴリズムも生成辞書への幾何収束率に収束することを示す。
論文 参考訳（メタデータ） (2023-04-04T12:58:47Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳（メタデータ） (2021-10-03T05:38:49Z) - PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。
我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。
合成および画像復号化実験により,本研究の成果を補完する。
論文 参考訳（メタデータ） (2021-05-31T18:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。