論文の概要: Supervised learning of analysis-sparsity priors with automatic differentiation

• arxiv url: http://arxiv.org/abs/2112.07990v1
• Date: Wed, 15 Dec 2021 09:33:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 21:43:43.000581
• Title: Supervised learning of analysis-sparsity priors with automatic differentiation
• Title（参考訳）: 自動微分による分析スパーシティ優先の教師付き学習
• Authors: Hashem Ghanem, Joseph Salmon, Nicolas Keriven, and Samuel Vaiter
• Abstract要約: 空間的先行性は、一般に装飾や画像再構成に使用される。 本稿では、フォワード・バックワード分割(FB)アルゴリズムの出力による再構成を近似する。 実験の結果,本アルゴリズムは断片的な定数信号から1次元トータル変分 (TV) 辞書の学習に成功していることがわかった。
• 参考スコア（独自算出の注目度）: 17.912336673642645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparsity priors are commonly used in denoising and image reconstruction. For analysis-type priors, a dictionary defines a representation of signals that is likely to be sparse. In most situations, this dictionary is not known, and is to be recovered from pairs of ground-truth signals and measurements, by minimizing the reconstruction error. This defines a hierarchical optimization problem, which can be cast as a bi-level optimization. Yet, this problem is unsolvable, as reconstructions and their derivative wrt the dictionary have no closed-form expression. However, reconstructions can be iteratively computed using the Forward-Backward splitting (FB) algorithm. In this paper, we approximate reconstructions by the output of the aforementioned FB algorithm. Then, we leverage automatic differentiation to evaluate the gradient of this output wrt the dictionary, which we learn with projected gradient descent. Experiments show that our algorithm successfully learns the 1D Total Variation (TV) dictionary from piecewise constant signals. For the same case study, we propose to constrain our search to dictionaries of 0-centered columns, which removes undesired local minima and improves numerical stability.
• Abstract（参考訳）: 空間的先行性は、一般に装飾や画像再構成に使用される。 分析型事前の場合、辞書はスパースとなる可能性のある信号の表現を定義する。 ほとんどの状況では、この辞書は知られておらず、復元誤差を最小にすることで、対の接地信号と測定値から復元される。 これは階層的な最適化の問題を定義し、二段階最適化とすることができる。 しかし、この問題は解決不可能であり、再構成とその微分 wrt は閉形式表現を持たない。 しかし、フォワードバックワード分割 (fb) アルゴリズムを用いて反復的に再構成を計算できる。 本稿では、前述のFBアルゴリズムの出力による再構成を近似する。 次に, 自動微分を利用して, この出力wrt辞書の勾配評価を行い, 予測された勾配降下によって学習する。 実験により,1次元全変動辞書(tv)を分割定数信号から学習することに成功した。 同じケーススタディでは,0中心列の辞書への探索を制限し,好ましくない局所的極小を除去し,数値的安定性を向上させることを提案する。

関連論文リスト

• Analysis and Synthesis Denoisers for Forward-Backward Plug-and-Play Algorithms [11.026523485992028]
  本稿では,合成復号化問題を近接演算子とみなすことができることを示す。 FB-内の「1つのサブイット」戦略は、ウォーム・リスタート戦略を使用すると無限であると解釈できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T12:43:40Z)
• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Convergence of alternating minimisation algorithms for dictionary learning [4.5687771576879594]
  辞書学習のための2つの交互最小化アルゴリズムの収束に十分な条件を導出する。 我々は、生成辞書に少なくとも1/log(K)$の距離で、あるいは、初期化の各要素が1つの生成要素のみを指していることを保証する特別な構造を持つような、よく知られた初期化が与えられた場合、どちらのアルゴリズムも生成辞書への幾何収束率に収束することを示す。
  論文  参考訳（メタデータ） (2023-04-04T12:58:47Z)
• A Unified Framework for Implicit Sinkhorn Differentiation [58.56866763433335]
  暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
  論文  参考訳（メタデータ） (2022-05-13T14:45:31Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Deep learning based dictionary learning and tomographic image reconstruction [0.0]
  本研究は, 疎信号処理の原理と深層学習の考え方を組み合わせた低用量断層撮影における画像再構成手法を提案する。 まず、統計的観点からの辞書によるスパース信号表現と辞書学習を、生成モデルから真信号の実証的分布に現れる分布を整列する過程として解釈する。 その結果、学習辞書を用いたスパース符号化は、デコーダが線形関数であり、エンコーダがスパース符号化アルゴリズムである特定の変分オートエンコーダに類似していることが分かる。
  論文  参考訳（メタデータ） (2021-08-26T12:10:17Z)
• Graph Signal Restoration Using Nested Deep Algorithm Unrolling [85.53158261016331]
  グラフ信号処理は、センサー、社会交通脳ネットワーク、ポイントクラウド処理、グラフネットワークなど、多くのアプリケーションにおいてユビキタスなタスクである。 凸非依存型深部ADMM(ADMM)に基づく2つの復元手法を提案する。 提案手法のパラメータはエンドツーエンドでトレーニング可能である。
  論文  参考訳（メタデータ） (2021-06-30T08:57:01Z)
• Dictionary and prior learning with unrolled algorithms for unsupervised inverse problems [12.54744464424354]
  本稿では,二段階問題として,劣化測定による辞書と事前学習について検討する。 合成と解析の近似定式化を解くために, アンロールアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2021-06-11T12:21:26Z)
• PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
  本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。 我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。 合成および画像復号化実験により,本研究の成果を補完する。
  論文  参考訳（メタデータ） (2021-05-31T18:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。