Fugu-MT 論文翻訳(概要): PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation

論文の概要: PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation

arxiv url: http://arxiv.org/abs/2106.00058v1
Date: Mon, 31 May 2021 18:49:58 GMT
ステータス: 処理完了
システム内更新日: 2021-06-02 14:32:00.431502
Title: PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation
Title（参考訳）: PUDLE:バックプロパゲーションによる辞書学習の急激な加速
Authors: Bahareh Tolooshams and Demba Ba
Abstract要約: 本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。合成および画像復号化実験により,本研究の成果を補完する。
参考スコア（独自算出の注目度）: 4.081440927534577
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The dictionary learning problem, representing data as a combination of few atoms, has long stood as a popular method for learning representations in statistics and signal processing. The most popular dictionary learning algorithm alternates between sparse coding and dictionary update steps, and a rich literature has studied its theoretical convergence. The growing popularity of neurally plausible unfolded sparse coding networks has led to the empirical finding that backpropagation through such networks performs dictionary learning. This paper offers the first theoretical proof for these empirical results through PUDLE, a Provable Unfolded Dictionary LEarning method. We highlight the impact of loss, unfolding, and backpropagation on convergence. We discover an implicit acceleration: as a function of unfolding, the backpropagated gradient converges faster and is more accurate than the gradient from alternating minimization. We complement our findings through synthetic and image denoising experiments. The findings support the use of accelerated deep learning optimizers and unfolded networks for dictionary learning.
Abstract（参考訳）: 辞書学習問題は、数個の原子の組み合わせとしてデータを表現しており、統計学や信号処理における表現を学習するための一般的な方法として長い間存在してきた。最もポピュラーな辞書学習アルゴリズムは、スパースコーディングと辞書更新ステップを交互に行い、リッチな文献はその理論的収束を研究した。ニューラル・プルーサブルな分散コーディングネットワークの人気が高まり、そのようなネットワークを介したバックプロパゲーションが辞書学習を行うという経験的発見につながった。本稿では,PUDLE(Provable Unfolded Dictionary LEarning method)による実験結果の理論的証明を行う。我々は、損失、展開、バックプロパゲーションが収束に与える影響を強調する。展開する関数として、バックプロパゲーションされた勾配はより速く収束し、交代最小化による勾配よりも正確である。我々は,合成および画像分割実験により,この知見を補完する。この発見は、辞書学習のための高速化されたディープラーニングオプティマイザと展開されたネットワークの利用をサポートする。

関連論文リスト

An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文参考訳（メタデータ） (2024-03-30T15:29:49Z)
Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic Interpretability: A Case Study on Othello-GPT [59.245414547751636]
本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
論文参考訳（メタデータ） (2024-02-19T15:04:53Z)
Explainable Trajectory Representation through Dictionary Learning [7.567576186354494]
ネットワーク上での軌道表現学習は、車両交通パターンの理解を高める。古典的な機械学習やディープラーニングを使った既存のアプローチは、解釈性に欠ける高密度ベクトルとして軌道を埋め込む。本稿では,辞書学習を通して記述可能な軌道表現学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-13T10:59:54Z)
Bayesian sparsity and class sparsity priors for dictionary learning and coding [0.0]
本稿では,辞書マッチングプロセスを容易にする作業フローを提案する。本稿では,辞書マッチングに関係のない部分辞書の同定を支援するため,ベイズ型データ駆動型グループ空間符号化手法を提案する。辞書圧縮誤差を補正し、新規なグループ間隔プロモーションを用いて元の辞書をデフレートする効果を図示する。
論文参考訳（メタデータ） (2023-09-02T17:54:23Z)
Hiding Data Helps: On the Benefits of Masking for Sparse Coding [22.712098918769243]
ノイズの存在下では,標準辞書学習目標の最小化は,過度に実現された体制下での接地真実辞書の要素の回復に失敗する可能性があることを示す。本稿では,大規模なデータ生成プロセスにおいて,信号が増大するにつれて,基底構造辞書の復元が事実上最適となる新しいマスキング手法を提案する。
論文参考訳（メタデータ） (2023-02-24T16:16:19Z)
Efficient CNN with uncorrelated Bag of Features pooling [98.78384185493624]
Bag of Features (BoF)は、畳み込み層の複雑さを軽減するために最近提案されている。本稿では,BoFプーリング上に構築した手法を用いて,学習辞書の項目が非冗長であることを保証する。提案した戦略は、BoFの効率的な変種を生成し、追加のパラメータを使わずにその性能をさらに向上させる。
論文参考訳（メタデータ） (2022-09-22T09:00:30Z)
Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。本研究では,このアプローチをニューラルLMの文脈で再考する。
論文参考訳（メタデータ） (2022-03-21T01:16:44Z)
Discriminative Dictionary Learning based on Statistical Methods [0.0]
信号やデータのスパース表現(SR)は厳密な数学的誤り境界と証明を持つ十分に確立された理論を持つ。最小損失の信号群を表現した辞書を辞書学習(DL)という。 MODとK-SVDは、画像「デノイング」や「インペインティング」といった画像処理における再構成ベースの応用に成功している。
論文参考訳（メタデータ） (2021-11-17T10:45:10Z)
Exact Sparse Orthogonal Dictionary Learning [8.577876545575828]
提案手法は,過剰な辞書に基づく学習方法よりも,より難解な結果が得られることが判明した。我々の方法には高効率の利点が加わった。
論文参考訳（メタデータ） (2021-03-14T07:51:32Z)
DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
論文参考訳（メタデータ） (2021-02-05T11:31:24Z)
When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning and Coding Network for Image Recognition with Limited Data [74.75557280245643]
本稿では,限られたデータを用いた画像認識タスクのための新しいDeep Dictionary Learning and Coding Network(DDLCN)を提案する。 DDLCNをいくつかの主要な辞書学習手法と深層学習モデルと比較した。 5つの一般的なデータセットに対する実験結果から,DDLCNはトレーニングデータに制限がある場合の最先端手法と比較して,競合的な結果が得られることが示された。
論文参考訳（メタデータ） (2020-05-21T23:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。