論文の概要: Robust Generalization against Photon-Limited Corruptions via Worst-Case Sharpness Minimization

• arxiv url: http://arxiv.org/abs/2303.13087v1
• Date: Thu, 23 Mar 2023 07:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 15:24:30.104064
• Title: Robust Generalization against Photon-Limited Corruptions via Worst-Case Sharpness Minimization
• Title（参考訳）: 最悪のシャープネス最小化による光子限界破壊に対するロバスト一般化
• Authors: Zhuo Huang, Miaoxi Zhu, Xiaobo Xia, Li Shen, Jun Yu, Chen Gong, Bo Han, Bo Du, Tongliang Liu
• Abstract要約: ロバスト一般化は、トレーニングセットで稀であり、厳しいノイズを含む最も困難なデータ分散に取り組むことを目的としている。 分散ロバスト最適化(DRO)のような一般的なソリューションは、低いトレーニングエラーを保証するための最悪の経験的リスクに焦点を当てている。 本稿では,学習パラメータの近傍における損失変化を計測し,最悪ケース分布の鋭さをペナルティ化し,シャープDROを提案する。 シャープDROは、汚職に対する強力な一般化能力を示し、高い性能向上を有するよく知られたベースライン法を超えることを示す。
• 参考スコア（独自算出の注目度）: 89.92932924515324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust generalization aims to tackle the most challenging data distributions which are rare in the training set and contain severe noises, i.e., photon-limited corruptions. Common solutions such as distributionally robust optimization (DRO) focus on the worst-case empirical risk to ensure low training error on the uncommon noisy distributions. However, due to the over-parameterized model being optimized on scarce worst-case data, DRO fails to produce a smooth loss landscape, thus struggling on generalizing well to the test set. Therefore, instead of focusing on the worst-case risk minimization, we propose SharpDRO by penalizing the sharpness of the worst-case distribution, which measures the loss changes around the neighbor of learning parameters. Through worst-case sharpness minimization, the proposed method successfully produces a flat loss curve on the corrupted distributions, thus achieving robust generalization. Moreover, by considering whether the distribution annotation is available, we apply SharpDRO to two problem settings and design a worst-case selection process for robust generalization. Theoretically, we show that SharpDRO has a great convergence guarantee. Experimentally, we simulate photon-limited corruptions using CIFAR10/100 and ImageNet30 datasets and show that SharpDRO exhibits a strong generalization ability against severe corruptions and exceeds well-known baseline methods with large performance gains.
• Abstract（参考訳）: ロバスト一般化は、トレーニングセットで稀であり、厳しいノイズ、すなわち光子限定の腐敗を含む最も困難なデータ分布に取り組むことを目的としている。 分散ロバスト最適化 (distributionally robust optimization, dro) のような一般的なソリューションは、まれなノイズの分布に対して低いトレーニングエラーを確実にする、最悪の経験的リスクに焦点を当てている。 しかし、最短ケースデータに最適化された過パラメータモデルのため、DROはスムーズなロスランドスケープの生成に失敗し、テストセットの一般化に苦慮する。 そこで, 最悪のリスク最小化ではなく, 学習パラメータの周辺における損失変化を計測する, 最悪のケース分布の鋭さをペナルティ化し, SharpDROを提案する。 最短ケースのシャープネス最小化により, 提案手法は破損した分布に平坦な損失曲線を生じ, 堅牢な一般化を実現する。 さらに,分散アノテーションが利用可能かどうかを考慮し,2つの問題設定にsharpdroを適用し,ロバスト一般化のための最悪のケース選択プロセスを設計する。 理論的には、SharpDROは収束性に大きな保証を持つ。 実験により,CIFAR10/100とImageNet30のデータセットを用いて光子限定の破損をシミュレートし,シャープDROが強大な腐敗に対して強力な一般化能力を示し,高い性能向上を示す。

関連論文リスト

• Universal Robustness via Median Randomized Smoothing for Real-World Super-Resolution [7.638042073679073]
  本稿では,ディープラーニング超解法のロバスト性向上のための様々な手法の普遍性について検討する。 正中性ランダム化平滑化(MRS)は, 対向学習法に比べ, 頑健性においてより一般的であることを示す。 また,提案手法により,SRモデルにより標準的な汚職をより効果的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:00:01Z)
• Learning Correction Errors via Frequency-Self Attention for Blind Image Super-Resolution [1.734165485480267]
  我々は,LCE(Learning Correction Errors)に着目した新しいブラインドSR手法を提案する。 SRネットワーク内では、元のLR画像とCLR画像の周波数学習の両方を利用して、SR性能を協調的に最適化する。 提案手法は,劣化推定と補正誤差に関連する課題を効果的に解決し,より正確なブラインド画像SRへの道を開く。
  論文  参考訳（メタデータ） (2024-03-12T07:58:14Z)
• Geometry-Calibrated DRO: Combating Over-Pessimism with Free Energy Implications [31.3535638804615]
  機械学習アルゴリズムは、分散シフトの影響を受けやすい平均リスクを最小化する。 分散ロバスト最適化(DRO)は、不確実性セット内の最悪のケースリスクを最適化することでこの問題に対処する。 DROは過ペシミズムに悩まされており、低信頼の予測、パラメータ推定の低さ、一般化の低さにつながっている。 本研究では,過ペシミズムの根本原因を理論的に解析する。
  論文  参考訳（メタデータ） (2023-11-08T23:33:39Z)
• DRAUC: An Instance-wise Distributionally Robust AUC Optimization Framework [133.26230331320963]
  ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。 本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-11-06T12:15:57Z)
• Domain Generalization without Excess Empirical Risk [83.26052467843725]
  一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。 我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。 我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
  論文  参考訳（メタデータ） (2023-08-30T08:46:46Z)
• Distributionally Robust Multiclass Classification and Applications in Deep Image Classifiers [9.979945269265627]
  マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。 本研究では,新しいランダムトレーニング手法を採用することにより,試験誤差率を最大83.5%,損失を最大91.3%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-15T05:09:28Z)
• Distributionally Robust Multiclass Classification and Applications in Deep Image Classifiers [3.179831861897336]
  マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。 本研究では,新しいランダムトレーニング手法を採用することにより,試験誤差率を最大83.5%,損失を最大91.3%削減することを示した。
  論文  参考訳（メタデータ） (2021-09-27T02:58:19Z)
• Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
  本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。 我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。 単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
  論文  参考訳（メタデータ） (2021-08-25T22:43:20Z)
• Improving robustness against common corruptions with frequency biased models [112.65717928060195]
  目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします 画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。 畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-30T10:44:50Z)
• Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
  我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。 このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。 リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。 イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
  論文  参考訳（メタデータ） (2021-03-29T02:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。