論文の概要: A Flat Minima Perspective on Understanding Augmentations and Model Robustness

• arxiv url: http://arxiv.org/abs/2505.24592v1
• Date: Fri, 30 May 2025 13:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.973157
• Title: A Flat Minima Perspective on Understanding Augmentations and Model Robustness
• Title（参考訳）: 拡張性とモデルロバスト性を理解するためのフラットミニマ視点
• Authors: Weebum Yoo, Sung Whan Yoon,
• Abstract要約: モデル強化がモデル堅牢性をいかに高めるかを明らかにするため、統一的な理論フレームワークを提供する。 我々の研究は従来の研究から、我々の分析が既存の増補手法の多くを幅広く包含しているという点で分岐している。 我々は、既存の共通汚職と敵対的堅牢性ベンチマークのシミュレーションを通じて、我々の理論を裏付ける。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model robustness indicates a model's capability to generalize well on unforeseen distributional shifts, including data corruption, adversarial attacks, and domain shifts. Data augmentation is one of the prevalent and effective ways to enhance robustness. Despite the great success of augmentations in different fields, a general theoretical understanding of their efficacy in improving model robustness is lacking. We offer a unified theoretical framework to clarify how augmentations can enhance model robustness through the lens of loss surface flatness and PAC generalization bound. Our work diverges from prior studies in that our analysis i) broadly encompasses much of the existing augmentation methods, and ii) is not limited to specific types of distribution shifts like adversarial attacks. We confirm our theories through simulations on the existing common corruption and adversarial robustness benchmarks based on the CIFAR and ImageNet datasets, as well as domain generalization benchmarks including PACS and OfficeHome.
• Abstract（参考訳）: モデルロバストネスは、データ破損、敵攻撃、ドメインシフトなど、予期せぬ分散シフトでモデルをうまく一般化する能力を示している。 データ拡張は、堅牢性を高めるための一般的かつ効果的な方法の1つです。 異なる分野における拡張の大きな成功にもかかわらず、モデルロバスト性の改善におけるそれらの有効性に関する一般的な理論的理解は欠如している。 我々は、損失面平坦性とPAC一般化バウンドのレンズによるモデルロバスト性の向上について、統一的な理論フレームワークを提供する。 我々の研究は、これまでの研究から、我々の分析に切り替わる 一 既存の拡張方法の大部分を広範囲に包含し、 ii) 敵の攻撃のような特定の種類の分布シフトに限ったものではない。 CIFAR と ImageNet のデータセットに基づく既存の共通汚職と敵対的堅牢性ベンチマークのシミュレーションと,PACS や OfficeHome などの領域一般化ベンチマークを用いて,我々の理論を検証した。

関連論文リスト

• PEER pressure: Model-to-Model Regularization for Single Source Domain Generalization [12.15086255236961]
  対象領域におけるこのような拡張に基づく手法の性能は、訓練中に普遍的に変動することを示す。 本稿では,新しい一般化法を提案する。 Space Ensemble with Entropy Regularization (PEER) – プロキシモデルを使用して、拡張データを学ぶ。
  論文  参考訳（メタデータ） (2025-05-19T06:01:11Z)
• Seeking Flat Minima over Diverse Surrogates for Improved Adversarial Transferability: A Theoretical Framework and Algorithmic Instantiation [38.12499933796839]
  本稿では, 対向転送可能性の証明可能な保証を提供する新しい転送可能性バウンダリを提案する。 以上の結果から,AEsをSurrogateモデル集合上の平らな最小値に最適化すると同時に,Surrogate-Targetモデルシフトを逆モデル不一致で制御することにより,AEの転送性に対する包括的保証が得られることが示唆された。
  論文  参考訳（メタデータ） (2025-04-23T07:33:45Z)
• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• Understanding Adversarially Robust Generalization via Weight-Curvature Index [3.096869664709865]
  We propose a novel perspective to decipherally robust generalization through the Lens of the Weight-Curvature Index (WCI)。 提案したWCIは、重量行列のフロベニウスノルムとヘッセン行列のトレースを用いて、逆摂動に対するモデルの脆弱性を定量化する。 私たちの研究は、よりレジリエントなディープラーニングモデルを設計し、信頼性とセキュリティを高める上で、重要な洞察を提供します。
  論文  参考訳（メタデータ） (2024-10-10T08:34:43Z)
• Revisiting the Robust Generalization of Adversarial Prompt Tuning [4.033827046965844]
  本稿では,画像とテキストの特徴のアライメントを高めるために,適応型一貫性誘導型適応型適応型適応プロンプトチューニング(CAPT)フレームワークを提案する。 我々は14のデータセットと4つのデータ空間をまたいだ実験を行い、CAPTが他の最先端の適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-18T02:54:41Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。