論文の概要: On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning

• arxiv url: http://arxiv.org/abs/2606.22352v1
• Date: Sun, 21 Jun 2026 06:20:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 18:43:21.535022
• Title: On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning
• Title（参考訳）: 同時活性化辞書学習における空間記憶精度のトレードオフについて
• Authors: Zihui Zhao, Yuanbo Tang, Yang Li,
• Abstract要約: 我々は,活性化辞書原子数に簡単な大域正規化を課す,実用的には効果的だが理論的には未探索の辞書学習方法のクラスを開発する。 PADLは,グローバルなアクティベーションパターンを規定する補助潜伏変数を持つ構造的生成モデルの下で,最大余剰推定値として等価な定式化を許容することを示す。
• 参考スコア（独自算出の注目度）: 2.240340243182899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dictionary learning has long been studied from both optimization and probabilistic perspectives. While formulations with element-wise sparsity regularization (e.g., L1-based sparse coding) admit well-established probabilistic interpretations, many structured variants that impose global constraints lack a clear and tractable generative view. In this paper, we revisit a class of practically effective yet theoretically under-explored dictionary learning methods that impose a simple global regularization on the number of activated dictionary atoms, which we term parsimoniously activated dictionary learning (PADL). We show that PADL admits an equivalent formulation as maximum a posteriori estimation under a structured generative model, with auxiliary latent variables that govern global activation patterns. This formulation allows us to derive generalization guarantees that are difficult to obtain under the original formulation. More importantly, it yields an analytical characterization of the tradeoff between sparsity, storage cost, and reconstruction accuracy, enabling data-driven estimation of optimal hyperparameters. Based on this connection, we develop an efficient and interpretable PADL algorithm that eliminates manual hyperparameter tuning, achieving improved reconstruction performance under comparable sparsity levels on visual benchmarks. We further demonstrate its practical utility in accelerating inference for vision-language models.
• Abstract（参考訳）: 辞書学習は、最適化と確率論的の両方の観点から長い間研究されてきた。 要素単位の空間規則化(例えば L1 をベースとしたスパース符号)による定式化は、よく確立された確率論的解釈を許容するが、大域的制約を課す多くの構造化された変種は、明確でトラクタブルな生成的視点を欠いている。 本稿では,実効的だが理論的に未探索な辞書学習手法のクラスを再検討し,活性化辞書原子数に簡単な大域的正規化を課し,これをPADL( parsimonily activated dictionary learning)と呼ぶ。 PADLは,グローバルなアクティベーションパターンを規定する補助潜伏変数を持つ構造的生成モデルの下で,最大余剰推定値として等価な定式化を許容することを示す。 この定式化により、元の定式化の下では得られ難い一般化保証を導出することができる。 さらに重要なのは、空間性、ストレージコスト、再構成精度のトレードオフを解析的に評価することで、最適なハイパーパラメーターをデータ駆動で推定できることだ。 この接続に基づいて,手動のハイパーパラメータチューニングを排除し,視覚的ベンチマークで同等の空間レベルでの再構成性能の向上を実現する,効率的かつ解釈可能なPADLアルゴリズムを開発した。 さらに、視覚言語モデルに対する推論の高速化における実用性を実証する。

関連論文リスト

• Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs [49.66344956133349]
  推論能力は、大規模な(ビジョン)言語モデルのための推論時間性能と強化学習(RL)トレーニングの両方を形作る。 本稿では,戦略的文脈化のための潜在変数をモデルに付与する新しい潜在変調フレームワークであるReasoning Paletteを提案する。
  論文  参考訳（メタデータ） (2025-12-19T03:32:53Z)
• A Unified Probabilistic Framework for Dictionary Learning with Parsimonious Activation [10.775460285501739]
  行列行列の行ワイズ$L_infty$ノルムに基づいて正規化を促進させるパーシモニーを導入する。 この追加のペナルティにより係数行列の全行が消滅し、データセット全体で活性化される辞書原子の数が減少する。
  論文  参考訳（メタデータ） (2025-09-30T02:46:11Z)
• Iterative Augmentation with Summarization Refinement (IASR) Evaluation for Unstructured Survey data Modeling and Analysis [0.43988112145759295]
  本研究は,大規模言語モデル(LLM)に基づくテキスト拡張のための原則的評価フレームワークを導入する。 実証評価の結果, GPT-3.5 Turbo はセマンティック忠実度, 多様性, 生成効率の最良のバランスを達成できた。
  論文  参考訳（メタデータ） (2025-07-16T10:49:30Z)
• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• UNEM: UNrolled Generalized EM for Transductive Few-Shot Learning [35.62208317531141]
  我々は「最適化学習」とも呼ばれるアンロールパラダイムを提唱し紹介する。 我々のアンローリングアプローチは、様々な統計的特徴分布と事前学習パラダイムをカバーしている。 本稿では,下流画像分類作業の細粒度を網羅した包括的実験について報告する。
  論文  参考訳（メタデータ） (2024-12-21T19:01:57Z)
• Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
  本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。 本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:05Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。