論文の概要: Variational Garrote for Sparse Inverse Problems
- arxiv url: http://arxiv.org/abs/2603.12562v1
- Date: Fri, 13 Mar 2026 01:50:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:11.838012
- Title: Variational Garrote for Sparse Inverse Problems
- Title(参考訳): スパース逆問題に対する変分ガロト
- Authors: Kanghun Lee, Hyungjoon Soh, Junghyo Jo,
- Abstract要約: 本研究は, 従来のL1正規化と変分ガロテ(VG)を比較することで, 逆問題における疎度先行の影響について検討する。
信号再サンプリング,信号デノイング,スパース・ビュー・コンピュート・トモグラフィなど,複数の再構成タスクにまたがる統一的な実験フレームワークを構築した。
- 参考スコア(独自算出の注目度): 1.1049501660241197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse regularization plays a central role in solving inverse problems arising from incomplete or corrupted measurements. Different regularizers correspond to different prior assumptions about the structure of the unknown signal, and reconstruction performance depends on how well these priors match the intrinsic sparsity of the data. This work investigates the effect of sparsity priors in inverse problems by comparing conventional L1 regularization with the Variational Garrote (VG), a probabilistic method that approximates L0 sparsity through variational binary gating variables. A unified experimental framework is constructed across multiple reconstruction tasks including signal resampling, signal denoising, and sparse-view computed tomography. To enable consistent comparison across models with different parameterizations, regularization strength is swept across wide ranges and reconstruction behavior is analyzed through train-generalization error curves. Experiments reveal characteristic bias-variance tradeoff patterns across tasks and demonstrate that VG frequently achieves lower minimum generalization error and improved stability in strongly underdetermined regimes where accurate support recovery is critical. These results suggest that sparsity priors closer to spike-and-slab structure can provide advantages when the underlying coefficient distribution is strongly sparse. The study highlights the importance of prior-data alignment in sparse inverse problems and provides empirical insights into the behavior of variational L0-type methods across different information bottlenecks.
- Abstract(参考訳): スパース正則化は不完全あるいは破損した測定から生じる逆問題の解決において中心的な役割を果たす。
異なる正規化器は、未知の信号の構造に関する異なる事前仮定に対応し、再構成性能は、これらの先行処理がデータの固有間隔にどの程度の精度で一致するかに依存する。
本研究では,従来のL1正規化を変分ガロテ (VG) と比較することにより,逆問題における疎度先行の影響について検討する。
信号再サンプリング,信号デノイング,スパース・ビュー・コンピュート・トモグラフィなど,複数の再構成タスクにまたがる統一的な実験フレームワークを構築した。
パラメータ化の異なるモデル間で一貫した比較を可能にするため、正規化強度は広い範囲に分散し、列車一般化誤差曲線を用いて再構成挙動を解析する。
実験により, タスク間の特性的バイアス分散トレードオフパターンが明らかになり, VG が最小限の一般化誤差を少なくし, 正確な支援回復が重要となる強い過小判定条件下での安定性が向上することが確認された。
これらの結果から, スパイク・アンド・スラブ構造に近い空間分布は, 基礎となる係数分布が疎結合である場合に有利であることが示唆された。
この研究は、スパース逆問題における事前データのアライメントの重要性を強調し、異なる情報ボトルネックにまたがる変動L0型手法の振る舞いに関する実証的な洞察を提供する。
関連論文リスト
- ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data [5.830619388189558]
高次元正規化回帰における2つの重要なタスクは、正確な予測のために正規化強度を調整し、サンプル外リスクを推定することである。
問題のある条件下でクロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を導入する。
論文 参考訳(メタデータ) (2024-06-17T15:50:00Z) - Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems [2.174919458782602]
逆問題では、スパーシティ事前の組み込みは、解に対する正則化効果をもたらす。
本稿では,ガウスの混合として事前に定式化された確率的疎性について提案する。
我々は、このネットワークのパラメータを推定するために、教師なしのトレーニング戦略と教師なしのトレーニング戦略をそれぞれ導入した。
論文 参考訳(メタデータ) (2024-01-29T22:52:57Z) - GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples
using Gradients and Invariance Transformations [77.34726150561087]
本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。
GITは勾配情報と不変変換の利用を組み合わせる。
本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
論文 参考訳(メタデータ) (2023-07-05T22:04:38Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳(メタデータ) (2020-09-28T09:49:38Z) - When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。
本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
論文 参考訳(メタデータ) (2020-06-18T17:57:26Z) - Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
本稿では,データ駆動型汎用全深度変動正規化器について紹介する。
コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。
我々は多数の画像処理タスクに対して最先端の結果を得る。
論文 参考訳(メタデータ) (2020-06-15T21:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。