論文の概要: Deep greedy unfolding: Sorting out argsorting in greedy sparse recovery algorithms

• arxiv url: http://arxiv.org/abs/2505.15661v1
• Date: Wed, 21 May 2025 15:36:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.747588
• Title: Deep greedy unfolding: Sorting out argsorting in greedy sparse recovery algorithms
• Title（参考訳）: Deep greedy Exfolding:Greedy sparseリカバリアルゴリズムにおけるアーグソーシングのソート
• Authors: Sina Mohammad-Taheri, Matthew J. Colbrook, Simone Brugiapaglia,
• Abstract要約: greedy sparseリカバリアルゴリズムは、ニューラルネットワークへの統合を妨げる非微分可能なアーグソート演算子に依存している。 直交マッチング法(OMP)と反復的ハード閾値法(IHT)の置換に基づく変種を提案する。 We demonstrate that Soft-OMP and Soft-IHT, as differentable equivalent of OMP and IHT and fully compatible with neural network training, effectively almost that these algorithm with a controllable degree of accuracy。
• 参考スコア（独自算出の注目度）: 0.40964539027092906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based learning imposes (deep) neural networks to be differentiable at all steps. This includes model-based architectures constructed by unrolling iterations of an iterative algorithm onto layers of a neural network, known as algorithm unrolling. However, greedy sparse recovery algorithms depend on the non-differentiable argsort operator, which hinders their integration into neural networks. In this paper, we address this challenge in Orthogonal Matching Pursuit (OMP) and Iterative Hard Thresholding (IHT), two popular representative algorithms in this class. We propose permutation-based variants of these algorithms and approximate permutation matrices using "soft" permutation matrices derived from softsort, a continuous relaxation of argsort. We demonstrate -- both theoretically and numerically -- that Soft-OMP and Soft-IHT, as differentiable counterparts of OMP and IHT and fully compatible with neural network training, effectively approximate these algorithms with a controllable degree of accuracy. This leads to the development of OMP- and IHT-Net, fully trainable network architectures based on Soft-OMP and Soft-IHT, respectively. Finally, by choosing weights as "structure-aware" trainable parameters, we connect our approach to structured sparse recovery and demonstrate its ability to extract latent sparsity patterns from data.
• Abstract（参考訳）: 勾配に基づく学習は、あらゆるステップで(深い)ニューラルネットワークの差別化を強制する。 これには、反復アルゴリズムの反復をニューラルネットワークの層にアンロールすることで構築される、アルゴリズムアンロールとして知られるモデルベースのアーキテクチャが含まれる。 しかし、greedy sparseリカバリアルゴリズムは、ニューラルネットワークへの統合を妨げる非微分可能なアーグソート演算子に依存している。 本稿では,このクラスで人気のある2つのアルゴリズムであるorthogonal Matching Pursuit (OMP) と Iterative Hard Thresholding (IHT) において,この問題に対処する。 そこで我々は,これらのアルゴリズムの置換に基づく変種と近似置換行列を,アルグソートの連続緩和であるソフトソートから導出した「ソフト」置換行列を用いて提案する。 我々は、理論的にも数値的にも、Soft-OMPとSoft-IHTはOMPとIHTの差別化可能であり、ニューラルネットワークのトレーニングと完全に互換性があり、これらのアルゴリズムを制御可能な精度で効果的に近似していることを示します。 これは、Soft-OMPとSoft-IHTをベースにした、完全にトレーニング可能なネットワークアーキテクチャであるOMP-とIHT-Netの開発につながる。 最後に、重みを「構造対応」訓練可能なパラメータとして選択することにより、構造的スパース回復にアプローチを結び、データから潜時空間パターンを抽出する能力を示す。

関連論文リスト

• Unfolded proximal neural networks for robust image Gaussian denoising [7.018591019975253]
  本稿では,二元FBと二元Chambolle-Pockアルゴリズムの両方に基づいて,ガウス分母タスクのためのPNNを統一的に構築するフレームワークを提案する。 また、これらのアルゴリズムの高速化により、関連するNN層におけるスキップ接続が可能であることを示す。
  論文  参考訳（メタデータ） (2023-08-06T15:32:16Z)
• Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
  我々はロバスト成分分析のためのアルゴリズムを設計する(A) 行列を低主行列とスパース主行列の和に分解する。
  論文  参考訳（メタデータ） (2023-07-12T03:48:26Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• The Integrated Forward-Forward Algorithm: Integrating Forward-Forward and Shallow Backpropagation With Local Losses [0.0]
  本稿では,FFAと浅部バックプロパゲーションの双方の強度を組み合わせた統合手法を提案する。 Integrated Forward-Forward Algorithmでニューラルネットワークをトレーニングすることは、ロバストネスのような有利な特徴を持つニューラルネットワークを生成する可能性を秘めている。
  論文  参考訳（メタデータ） (2023-05-22T12:10:47Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Deep unfolding of the weighted MMSE beamforming algorithm [9.518010235273783]
  MISOダウンリンクチャネルに対するWMMSEアルゴリズムに対する深部展開の新たな適用法を提案する。 深層展開は、自然に専門家の知識を取り入れており、即時かつしっかりとしたアーキテクチャ選択の利点、トレーニング可能なパラメータの少ないこと、説明可能性の向上がある。 シミュレーションにより、ほとんどの設定において、展開されたWMMSEは、一定回数の反復に対して、WMMSEよりも優れているか、等しく動作することを示す。
  論文  参考訳（メタデータ） (2020-06-15T14:51:20Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。