論文の概要: Learning Difference-of-Convex Regularizers for Inverse Problems: A Flexible Framework with Theoretical Guarantees

• arxiv url: http://arxiv.org/abs/2502.00240v1
• Date: Sat, 01 Feb 2025 00:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:02:07.268034
• Title: Learning Difference-of-Convex Regularizers for Inverse Problems: A Flexible Framework with Theoretical Guarantees
• Title（参考訳）: 逆問題に対する差分凸正規化器の学習:理論的保証付きフレキシブルフレームワーク
• Authors: Yasi Zhang, Oscar Leong,
• Abstract要約: 効果的な正則化の学習は、不適切な逆問題の解決に不可欠である。 本稿では,より広範な非正規化関数である差分DC関数が経験的性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 0.6906005491572401
• License:
• Abstract: Learning effective regularization is crucial for solving ill-posed inverse problems, which arise in a wide range of scientific and engineering applications. While data-driven methods that parameterize regularizers using deep neural networks have demonstrated strong empirical performance, they often result in highly nonconvex formulations that lack theoretical guarantees. Recent work has shown that incorporating structured nonconvexity into neural network-based regularizers, such as weak convexity, can strike a balance between empirical performance and theoretical tractability. In this paper, we demonstrate that a broader class of nonconvex functions, difference-of-convex (DC) functions, can yield improved empirical performance while retaining strong convergence guarantees. The DC structure enables the use of well-established optimization algorithms, such as the Difference-of-Convex Algorithm (DCA) and a Proximal Subgradient Method (PSM), which extend beyond standard gradient descent. Furthermore, we provide theoretical insights into the conditions under which optimal regularizers can be expressed as DC functions. Extensive experiments on computed tomography (CT) reconstruction tasks show that our approach achieves strong performance across sparse and limited-view settings, consistently outperforming other weakly supervised learned regularizers. Our code is available at \url{https://github.com/YasminZhang/ADCR}.
• Abstract（参考訳）: 効果的な正則化の学習は、様々な科学的・工学的応用で生じる不適切な逆問題の解決に不可欠である。 ディープニューラルネットワークを用いた正規化器をパラメータ化するデータ駆動手法は、強い経験的性能を示してきたが、理論的な保証に欠ける非常に非凸な定式化をもたらすことが多い。 近年の研究では、構造的非凸性をニューラルネットワークベースの正規化器(弱い凸性など)に組み込むことで、経験的性能と理論的トラクタビリティのバランスがとれることが示されている。 本稿では, より広範な非凸関数, 差動凸(DC)関数が, 強い収束保証を維持しつつ, 経験的性能を向上させることを実証する。 DC構造は、DCAやPSM(Proximal Subgradient Method)といった、標準的な勾配勾配を超えて、確立された最適化アルゴリズムの使用を可能にする。 さらに、最適正則化器を直流関数として表現できる条件に関する理論的知見を提供する。 CT(Computerd tomography)再構成タスクの広汎な実験により,本手法はスパースおよびリミテッド・ビュー・セッティングにおいて高い性能を達成し,他の弱い教師付き学習正規化器よりも一貫して優れていた。 私たちのコードは \url{https://github.com/YasminZhang/ADCR} で利用可能です。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Efficient Duple Perturbation Robustness in Low-rank MDPs [14.53555781866821]
  低ランクマルコフ決定過程(MDP)における特徴ベクトルおよび因子ベクトルの摂動という二重頑健性を導入する。 新たなロバストな MDP の定式化は関数表現のビューと互換性があり、従って、大または連続な状態-作用空間を持つ実践的な RL 問題に自然に適用できる。 また、理論収束率を保証した証明可能な効率的で実用的なアルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2024-04-11T19:07:15Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Convex Latent-Optimized Adversarial Regularizers for Imaging Inverse Problems [8.33626757808923]
  本稿では,新しいデータ駆動型パラダイムであるConvex Latent-d Adrial Regularizers (CLEAR)を紹介する。 CLEARは、ディープラーニング(DL)と変分正規化の融合を表す。 本手法は従来型のデータ駆動手法と従来型の正規化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-17T12:06:04Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。