論文の概要: A Unified Probabilistic Framework for Dictionary Learning with Parsimonious Activation

• arxiv url: http://arxiv.org/abs/2509.25690v1
• Date: Tue, 30 Sep 2025 02:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.399184
• Title: A Unified Probabilistic Framework for Dictionary Learning with Parsimonious Activation
• Title（参考訳）: パシモニアスアクティベーションを用いた辞書学習のための統一確率的フレームワーク
• Authors: Zihui Zhao, Yuanbo Tang, Jieyu Ren, Xiaoping Zhang, Yang Li,
• Abstract要約: 行列行列の行ワイズ$L_infty$ノルムに基づいて正規化を促進させるパーシモニーを導入する。 この追加のペナルティにより係数行列の全行が消滅し、データセット全体で活性化される辞書原子の数が減少する。
• 参考スコア（独自算出の注目度）: 10.775460285501739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dictionary learning is traditionally formulated as an $L_1$-regularized signal reconstruction problem. While recent developments have incorporated discriminative, hierarchical, or generative structures, most approaches rely on encouraging representation sparsity over individual samples that overlook how atoms are shared across samples, resulting in redundant and sub-optimal dictionaries. We introduce a parsimony promoting regularizer based on the row-wise $L_\infty$ norm of the coefficient matrix. This additional penalty encourages entire rows of the coefficient matrix to vanish, thereby reducing the number of dictionary atoms activated across the dataset. We derive the formulation from a probabilistic model with Beta-Bernoulli priors, which provides a Bayesian interpretation linking the regularization parameters to prior distributions. We further establish theoretical calculation for optimal hyperparameter selection and connect our formulation to both Minimum Description Length, Bayesian model selection and pathlet learning. Extensive experiments on benchmark datasets demonstrate that our method achieves substantially improved reconstruction quality (with a 20\% reduction in RMSE) and enhanced representation sparsity, utilizing fewer than one-tenth of the available dictionary atoms, while empirically validating our theoretical analysis.
• Abstract（参考訳）: 辞書学習は伝統的に$L_1$正規化信号再構成問題として定式化されている。 近年の研究では、識別的、階層的、あるいは生成的構造が取り入れられているが、ほとんどのアプローチは、サンプル間で原子がどのように共有されるかを見極める個々のサンプルに対する表現の空間性に頼っている。 行列行列の行ワイズ$L_\infty$ノルムに基づいて正規化を促進させるパーシモニーを導入する。 この追加のペナルティにより係数行列の全行が消滅し、データセット全体で活性化される辞書原子の数が減少する。 この定式化は、正規化パラメータを事前分布にリンクするベイズ解釈を提供するβ-Bernoulli前の確率モデルから導かれる。 さらに、最適パラメータ選択の理論計算を確立し、定式化を最小記述長、ベイズモデル選択およびパスレット学習の両方に接続する。 ベンチマークデータセットの大規模な実験により,提案手法は,利用可能な辞書原子の10分の1未満を有効利用しながら,再現性を大幅に向上(RMSEの20倍の低減)し,表現空間性の向上を実現し,理論的解析を実証的に検証した。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Hierarchical mixtures of Unigram models for short text clustering: The role of Beta-Liouville priors [1.03590082373586]
  本稿では,短文データの教師なし分類に適した多項混合モデルの変種について述べる。 ベータ・リウヴィル分布の理論的性質について検討し、特に多項確率との共役性に着目した。
  論文  参考訳（メタデータ） (2024-10-29T08:56:29Z)
• Obtaining Explainable Classification Models using Distributionally Robust Optimization [12.511155426574563]
  特徴値規則の集合を用いて構築した一般化線形モデルについて検討する。 ルールセットの間隔と予測精度の間には、固有のトレードオフが存在する。 我々はこれらの競合する要因に同時に対処するルールセットの集合を学習するための新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:45:34Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• ReCAB-VAE: Gumbel-Softmax Variational Inference Based on Analytic Divergence [17.665255113864795]
  緩和されたカテゴリー分布のクルバック・リーブラー発散(KLD)の上界に対応する新しい発散型計量について述べる。 また、連続表現と緩和表現の両方をうまくモデル化できる緩和された分類的有界変分オートエンコーダ(ReCAB-VAE)を提案する。
  論文  参考訳（メタデータ） (2022-05-09T08:11:46Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Statistical limits of dictionary learning: random matrix theory and the spectral replica method [28.54289139061295]
  ベイズ最適設定における行列記述と辞書学習の複雑なモデルについて考察する。 本稿では, 統計力学とランダム行列理論, スペクトル複製法を組み合わせた新しいレプリカ法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T12:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。