論文の概要: Learned ISTA with Error-based Thresholding for Adaptive Sparse Coding

• arxiv url: http://arxiv.org/abs/2112.10985v2
• Date: Tue, 19 Dec 2023 05:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 03:50:05.964329
• Title: Learned ISTA with Error-based Thresholding for Adaptive Sparse Coding
• Title（参考訳）: 適応スパース符号化のための誤りに基づく閾値付きISTA学習
• Authors: Ziang Li, Kailun Wu, Yiwen Guo, and Changshui Zhang
• Abstract要約: 学習用ISTA(LISTA)のためのエラーベースのしきい値設定機構を提案する。 提案手法は, 縮小関数の学習可能なパラメータを再構成誤差からよく切り離していることを示す。
• 参考スコア（独自算出の注目度）: 58.73333095047114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Drawing on theoretical insights, we advocate an error-based thresholding (EBT) mechanism for learned ISTA (LISTA), which utilizes a function of the layer-wise reconstruction error to suggest a specific threshold for each observation in the shrinkage function of each layer. We show that the proposed EBT mechanism well disentangles the learnable parameters in the shrinkage functions from the reconstruction errors, endowing the obtained models with improved adaptivity to possible data variations. With rigorous analyses, we further show that the proposed EBT also leads to a faster convergence on the basis of LISTA or its variants, in addition to its higher adaptivity. Extensive experimental results confirm our theoretical analyses and verify the effectiveness of our methods.
• Abstract（参考訳）: 理論的な考察から,各層の収縮関数における各観測値に対する特定のしきい値を示すために,階層的再構成誤差の関数を利用する学習 ista (lista) のためのエラーベースしきい値化 (ebt) 機構を提唱する。 提案するebt機構は, 復元誤差から学習可能な縮小関数のパラメータを適切に分離し, 得られたモデルを, 可能なデータ変動への適応性が向上した。 厳密な分析により、提案EBTは、高い適応性に加えて、LISTAまたはその変種に基づいてより高速な収束をもたらすことも示している。 広範な実験結果から理論解析を検証し,本手法の有効性を確認した。

関連論文リスト

• Error Bounds of Supervised Classification from Information-Theoretic Perspective [5.281849820329249]
  誤差は, 分布の滑らかさとサンプルサイズの影響を受け, 予測されるリスクの上限となる。 実験による検証により, 導出理論境界と実用的予測リスクとの間に有意な正の相関が認められた。
  論文  参考訳（メタデータ） (2024-06-07T01:07:35Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• Neurally Augmented ALISTA [15.021419552695066]
  本稿では、LSTMネットワークを用いて、再構成中の各ターゲットベクトルのステップサイズと閾値を個別に計算するニューラルネットワークALISTAを提案する。 提案手法はスパース再構成における経験的性能をさらに向上させ,特に圧縮比がより困難になるにつれて,既存のアルゴリズムのマージンが向上することを示す。
  論文  参考訳（メタデータ） (2020-10-05T11:39:49Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• Interpreting Rate-Distortion of Variational Autoencoder and Using Model Uncertainty for Anomaly Detection [5.491655566898372]
  表現学習による教師なし異常検出のためのスケーラブルな機械学習システムを構築した。 本稿では,情報理論の観点からVAEを再考し,再構成誤差を用いた理論的基礎を提供する。 ベンチマークデータセットに対するアプローチの競合性能を実証的に示す。
  論文  参考訳（メタデータ） (2020-05-05T00:03:48Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。