論文の概要: WARP-LCA: Efficient Convolutional Sparse Coding with Locally Competitive Algorithm

• arxiv url: http://arxiv.org/abs/2410.18794v1
• Date: Thu, 24 Oct 2024 14:47:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:33.649185
• Title: WARP-LCA: Efficient Convolutional Sparse Coding with Locally Competitive Algorithm
• Title（参考訳）: WARP-LCA:局所競合アルゴリズムを用いた効率的な畳み込みスパース符号化
• Authors: Geoffrey Kasenbacher, Felix Ehret, Gerrit Ecke, Sebastian Otte,
• Abstract要約: WARP-LCAは,従来のLCAに比べて桁違いに収束し,最小限にまで達することを示す。 WARP-LCAは, 深い認識パイプラインに適用した場合, 再現性, 復調性, およびロバスト性において優れた特性を示す。
• 参考スコア（独自算出の注目度）: 1.4186974630564675
• License:
• Abstract: The locally competitive algorithm (LCA) can solve sparse coding problems across a wide range of use cases. Recently, convolution-based LCA approaches have been shown to be highly effective for enhancing robustness for image recognition tasks in vision pipelines. To additionally maximize representational sparsity, LCA with hard-thresholding can be applied. While this combination often yields very good solutions satisfying an $\ell_0$ sparsity criterion, it comes with significant drawbacks for practical application: (i) LCA is very inefficient, typically requiring hundreds of optimization cycles for convergence; (ii) the use of hard-thresholding results in a non-convex loss function, which might lead to suboptimal minima. To address these issues, we propose the Locally Competitive Algorithm with State Warm-up via Predictive Priming (WARP-LCA), which leverages a predictor network to provide a suitable initial guess of the LCA state based on the current input. Our approach significantly improves both convergence speed and the quality of solutions, while maintaining and even enhancing the overall strengths of LCA. We demonstrate that WARP-LCA converges faster by orders of magnitude and reaches better minima compared to conventional LCA. Moreover, the learned representations are more sparse and exhibit superior properties in terms of reconstruction and denoising quality as well as robustness when applied in deep recognition pipelines. Furthermore, we apply WARP-LCA to image denoising tasks, showcasing its robustness and practical effectiveness. Our findings confirm that the naive use of LCA with hard-thresholding results in suboptimal minima, whereas initializing LCA with a predictive guess results in better outcomes. This research advances the field of biologically inspired deep learning by providing a novel approach to convolutional sparse coding.
• Abstract（参考訳）: 局所競合アルゴリズム(LCA)は、幅広いユースケースでスパースコーディング問題を解くことができる。 近年,畳み込みに基づくLCAアプローチは,視覚パイプラインにおける画像認識タスクの堅牢性向上に有効であることが示されている。 さらに、表現の空間性を最大化するために、ハードスレッディング付きLCAを適用することができる。 この組み合わせは、しばしば$\ell_0$スパシティ基準を満たす非常に良い解をもたらすが、実際的な応用には大きな欠点がある。 i) LCAは非常に非効率であり、典型的には収束に数百の最適化サイクルを必要とする。 硬度保持機能の使用は非凸損失関数となり, 極小化につながる可能性がある。 これらの問題に対処するために,予測ネットワークを活用して,現在の入力に基づいてLCA状態の適切な初期推定を行う,状態ウォームアップ付き局所競合アルゴリズム(WARP-LCA)を提案する。 提案手法は収束速度と解の質を両立させ,LCAの全体的な強度を維持・強化する。 WARP-LCAは,従来のLCAに比べて桁違いに収束し,最小限にまで達することが実証された。 さらに、学習された表現はより疎密であり、深い認識パイプラインに適用した場合の頑健さだけでなく、復元や聴覚的品質の点で優れた特性を示す。 さらに、WARP-LCAを画像デノーミングタスクに適用し、その堅牢性と実用性を示す。 以上の結果より,LCAの難治性使用は極小視を呈し,LCAを予測的推定で初期化すると良好な結果が得られた。 この研究は、畳み込みスパース符号化の新しいアプローチを提供することにより、生物学的にインスパイアされた深層学習の分野を前進させる。

関連論文リスト

• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• A Single-Loop Deep Actor-Critic Algorithm for Constrained Reinforcement Learning with Provable Convergence [7.586600116278698]
  Deep Actor-Critic Network (DNN)は、Actor-Critic Network (DNN)とDeep Neural Network (DNN)を組み合わせたネットワークである。 Deep Actor-Critic Network (DNN)は、Actor-Critic Network (DNN)とDeep Neural Network (DNN)を組み合わせたネットワークである。 Deep Actor-Critic Network (DNN)は、Actor-Critic Network (DNN)とDeep Neural Network (DNN)を組み合わせたネットワークである。 Deep Actor-Critic Network (DNN)は、Actor-Critic Network (DNN)とDeep Neural Network (DNN)を組み合わせたネットワークである。 Deep Actor-Critic Network (DNN)
  論文  参考訳（メタデータ） (2023-06-10T10:04:54Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。 IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。 再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T11:23:44Z)
• Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection [23.687598836093333]
  ロバストな主成分分析は機械学習において重要なツールであり、低ランク再構成タスクにおける外れ値を検出する。 本稿では,LRPCAと呼ばれる高次元RPCA問題に対するスケーラブルで学習可能なアプローチを提案する。 LRPCAは、ニューラルネットワークAltProjのような最先端のRPCAアルゴリズムよりも、両方のデータセットの実際のアプリケーションで優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-11T23:37:55Z)
• Adaptive Approach For Sparse Representations Using The Locally Competitive Algorithm For Audio [5.6394515393964575]
  本稿ではガンマチャープのパラメータを最適化するための適応的アプローチを提案する。 提案手法はLCAのニューラルネットワークを利用してガンマチャープのフィルタバンクを自動的に適応する。 以上の結果から, このアプローチによるLCAの性能向上は, スパーシリティ, 再建品質, 収束時間の観点から示される。
  論文  参考訳（メタデータ） (2021-09-29T20:26:16Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。