論文の概要: Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems

• arxiv url: http://arxiv.org/abs/2401.16612v1
• Date: Mon, 29 Jan 2024 22:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 16:54:45.644952
• Title: Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems
• Title（参考訳）: 逆問題における空間正規化のためのガウス混合学習
• Authors: Giovanni S. Alberti, Luca Ratti, Matteo Santacesaria, Silvia Sciutto
• Abstract要約: 逆問題では、スパーシティ事前の組み込みは、解に対する正則化効果をもたらす。 本稿では,ガウスの混合として事前に定式化された確率的疎性について提案する。 我々は、このネットワークのパラメータを推定するために、教師なしのトレーニング戦略と教師なしのトレーニング戦略をそれぞれ導入した。
• 参考スコア（独自算出の注目度）: 2.375943263571389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In inverse problems, it is widely recognized that the incorporation of a sparsity prior yields a regularization effect on the solution. This approach is grounded on the a priori assumption that the unknown can be appropriately represented in a basis with a limited number of significant components, while most coefficients are close to zero. This occurrence is frequently observed in real-world scenarios, such as with piecewise smooth signals. In this study, we propose a probabilistic sparsity prior formulated as a mixture of degenerate Gaussians, capable of modeling sparsity with respect to a generic basis. Under this premise, we design a neural network that can be interpreted as the Bayes estimator for linear inverse problems. Additionally, we put forth both a supervised and an unsupervised training strategy to estimate the parameters of this network. To evaluate the effectiveness of our approach, we conduct a numerical comparison with commonly employed sparsity-promoting regularization techniques, namely LASSO, group LASSO, iterative hard thresholding, and sparse coding/dictionary learning. Notably, our reconstructions consistently exhibit lower mean square error values across all $1$D datasets utilized for the comparisons, even in cases where the datasets significantly deviate from a Gaussian mixture model.
• Abstract（参考訳）: 逆問題では、スパーシティの組み入れが溶液に正則化効果をもたらすことが広く認識されている。 このアプローチは、未知項が有限個の重要な成分を持つ基底で適切に表現できるという事前の仮定に基づいているが、ほとんどの係数はゼロに近い。 この現象は、スムーズな信号のように現実世界のシナリオでしばしば観察される。 本研究では, 退化ガウスの混合物として定式化した確率的スパース性について, 一般基礎に関してスパース性をモデル化できる確率的スパース性を提案する。 この前提の下で,線形逆問題に対するベイズ推定器として解釈可能なニューラルネットワークを設計する。 さらに,ネットワークのパラメータを推定するために,教師なしおよび教師なしのトレーニング戦略も提示した。 本手法の有効性を評価するために,ラスソ,グループラッソ,反復ハードしきい値,スパースコーディング/ディクショナリー学習といった一般的なスパルシリティプロモーティング正規化手法との比較を行った。 特に,データセットがガウス混合モデルから著しく逸脱している場合でも,比較に使用される1,3ドルのデータセット全体の平均2乗誤差値を一貫して示している。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Simulation-based Inference with the Generalized Kullback-Leibler Divergence [8.868822699365618]
  目的は、確率が暗黙的にのみ知られている場合の逆問題を解決することである。 本研究では,正規化された基底分布と学習比率を学習することで,両世界の長所を提供するハイブリッドモデルについて検討する。
  論文  参考訳（メタデータ） (2023-10-03T05:42:53Z)
• Generalized Oversampling for Learning from Imbalanced datasets and Associated Theory [0.0]
  教師あり学習では、実際の不均衡なデータセットに直面することが多い。 本稿では,カーネル密度推定に基づくデータ拡張手法であるGOLIATHアルゴリズムを提案する。 我々は,不均衡な回帰状況下でのGOLIATHアルゴリズムの性能を評価する。
  論文  参考訳（メタデータ） (2023-08-05T23:08:08Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Sharp global convergence guarantees for iterative nonconvex optimization: A Gaussian process perspective [30.524043513721168]
  回帰モデルのクラスに対する反復アルゴリズムの収束を解析するための一般的なレシピを開発する。 決定論的には、有限サンプル状態におけるアルゴリズムの収束率と最終的なエラーフロアの両方を正確にキャプチャする。 我々は、更新の交互化に基づく高次アルゴリズムと、下位次数に基づく一次アルゴリズムの両方に対して、鋭い収束率を示す。
  論文  参考訳（メタデータ） (2021-09-20T21:48:19Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
  本稿では,データ駆動型汎用全深度変動正規化器について紹介する。 コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。 我々は多数の画像処理タスクに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T21:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。