論文の概要: Stochastic Gradient Descent Jittering for Inverse Problems: Alleviating the Accuracy-Robustness Tradeoff
- arxiv url: http://arxiv.org/abs/2410.14667v1
- Date: Fri, 18 Oct 2024 17:57:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:24:05.366118
- Title: Stochastic Gradient Descent Jittering for Inverse Problems: Alleviating the Accuracy-Robustness Tradeoff
- Title(参考訳): 逆問題に対する確率的グラディエントDescence Jittering:精度-ロバスト性トレードオフの軽減
- Authors: Peimeng Guan, Mark A. Davenport,
- Abstract要約: SGDジッタリング(SGDjittering)と呼ばれる,再構成時に繰り返しノイズを注入する簡易かつ効果的なMBAトレーニング手法を提案する。
理論的には、SGDジッタリングは平均二乗誤差トレーニングよりも一般化されるが、平均ケース攻撃ではより堅牢である。
- 参考スコア(独自算出の注目度): 14.10264784917637
- License:
- Abstract: Inverse problems aim to reconstruct unseen data from corrupted or perturbed measurements. While most work focuses on improving reconstruction quality, generalization accuracy and robustness are equally important, especially for safety-critical applications. Model-based architectures (MBAs), such as loop unrolling methods, are considered more interpretable and achieve better reconstructions. Empirical evidence suggests that MBAs are more robust to perturbations than black-box solvers, but the accuracy-robustness tradeoff in MBAs remains underexplored. In this work, we propose a simple yet effective training scheme for MBAs, called SGD jittering, which injects noise iteration-wise during reconstruction. We theoretically demonstrate that SGD jittering not only generalizes better than the standard mean squared error training but is also more robust to average-case attacks. We validate SGD jittering using denoising toy examples, seismic deconvolution, and single-coil MRI reconstruction. The proposed method achieves cleaner reconstructions for out-of-distribution data and demonstrates enhanced robustness to adversarial attacks.
- Abstract(参考訳): 逆問題は、破損または摂動測定から見えないデータを再構築することを目的としている。
ほとんどの研究はリコンストラクションの品質向上に重点を置いているが、特に安全クリティカルなアプリケーションにおいて、一般化の正確さと堅牢性は等しく重要である。
ループアンローリング法のようなモデルベースアーキテクチャ(MBA)は、より解釈可能であり、より良い再構築を実現する。
実証的な証拠は、MBAはブラックボックスソルバよりも摂動に頑丈であることを示しているが、MBAの精度と腐食性のトレードオフは未解明のままである。
そこで本研究では,再構成時にノイズを反復的に注入する,SGDジッタリング(SGD jittering)と呼ばれる,MBAの簡易かつ効果的なトレーニング手法を提案する。
理論的には、SGDジッタリングは標準的な平均二乗誤差トレーニングよりも一般化するだけでなく、平均ケース攻撃よりも堅牢であることを示す。
発声玩具の例, 地震波脱畳, 単コイルMRI再構成を用いたSGDジッタリングの検証を行った。
提案手法は,分布外データに対するよりクリーンな再構成を実現し,敵攻撃に対する堅牢性の向上を実証する。
関連論文リスト
- InstructRAG: Instructing Retrieval-Augmented Generation via Self-Synthesized Rationales [14.655518998487237]
InstructRAGを提案する。そこでは、LMが自己合成的理性を通して認知過程を明示的に学習する。
インストラクションRAGは追加の監視を必要としないため、予測された回答の検証が容易になる。
実験によると、InstructRAGはトレーニング不要とトレーニング可能な両方のシナリオにおいて、既存のRAGメソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2024-06-19T15:25:29Z) - PUMA: margin-based data pruning [51.12154122266251]
モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。
我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。
PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2024-05-10T08:02:20Z) - Inference Stage Denoising for Undersampled MRI Reconstruction [13.8086726938161]
磁気共鳴画像(MRI)データの再構成は、ディープラーニングによって肯定的な影響を受けている。
重要な課題は、トレーニングとテストデータ間の分散シフトへの一般化を改善することだ。
論文 参考訳(メタデータ) (2024-02-12T12:50:10Z) - Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳(メタデータ) (2023-12-30T17:05:31Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳(メタデータ) (2023-11-16T10:42:58Z) - A Bayesian Robust Regression Method for Corrupted Data Reconstruction [5.298637115178182]
我々は適応的敵攻撃に抵抗できる効果的なロバスト回帰法を開発した。
まず TRIP (hard Thresholding approach to Robust regression with sImple Prior) アルゴリズムを提案する。
次に、より堅牢なBRHT (robust Bayesian Reweighting regression via Hard Thresholding) アルゴリズムを構築するためにベイズ再重み付け(Bayesian reweighting)というアイデアを用いる。
論文 参考訳(メタデータ) (2022-12-24T17:25:53Z) - Rethinking the optimization process for self-supervised model-driven MRI
reconstruction [16.5013498806588]
K2Calibrateは、自己教師付きモデル駆動MR再構成最適化のためのK空間適応戦略である。
統計的に依存したノイズによるネットワークの復元劣化を低減することができる。
5つの最先端の手法よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2022-03-18T03:41:36Z) - Towards performant and reliable undersampled MR reconstruction via
diffusion model sampling [67.73698021297022]
DiffuseReconは拡散モデルに基づく新しいMR再構成法である。
観測された信号に基づいて生成過程を導出する。
特定の加速因子に関する追加の訓練は必要としない。
論文 参考訳(メタデータ) (2022-03-08T02:25:38Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳(メタデータ) (2022-01-27T20:19:07Z) - Globally-convergent Iteratively Reweighted Least Squares for Robust
Regression Problems [15.823258699608994]
我々は、ロバスト回帰問題に対するIRLS(暫定的に重み付けされた最小二乗)に対する最初のグローバルモデル回復結果を提供する。
我々は、保証されたグローバルリカバリを提供するだけでなく、実際にロバストレグレッションのための最先端のアルゴリズムよりも優れている基本IRLSルーチンの拡張を提案する。
論文 参考訳(メタデータ) (2020-06-25T07:16:13Z) - Modal Regression based Structured Low-rank Matrix Recovery for
Multi-view Learning [70.57193072829288]
近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。
既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。
本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
論文 参考訳(メタデータ) (2020-03-22T03:57:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。