論文の概要: Improving Robust Generalization by Direct PAC-Bayesian Bound Minimization

• arxiv url: http://arxiv.org/abs/2211.12624v1
• Date: Tue, 22 Nov 2022 23:12:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 14:13:39.457895
• Title: Improving Robust Generalization by Direct PAC-Bayesian Bound Minimization
• Title（参考訳）: PAC-Bayesian境界最小化によるロバスト一般化の改善
• Authors: Zifan Wang, Nan Ding, Tomer Levinboim, Xi Chen, Radu Soricut
• Abstract要約: 最近の研究では、敵の攻撃に対して訓練されたモデルが、テストセットよりも高い堅牢性を示すという、オーバーフィッティングのような現象が示されている。 本稿では、ロバストなPAC-ベイジアン境界の異なる形式を考察し、モデル後部に関して直接最小化する。 我々は、視覚変換器(ViT)を用いたCIFAR-10/100とImageNetに対するTrH正規化手法を評価し、ベースライン対向ロバスト性アルゴリズムと比較した。
• 参考スコア（独自算出の注目度）: 27.31806334022094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research in robust optimization has shown an overfitting-like phenomenon in which models trained against adversarial attacks exhibit higher robustness on the training set compared to the test set. Although previous work provided theoretical explanations for this phenomenon using a robust PAC-Bayesian bound over the adversarial test error, related algorithmic derivations are at best only loosely connected to this bound, which implies that there is still a gap between their empirical success and our understanding of adversarial robustness theory. To close this gap, in this paper we consider a different form of the robust PAC-Bayesian bound and directly minimize it with respect to the model posterior. The derivation of the optimal solution connects PAC-Bayesian learning to the geometry of the robust loss surface through a Trace of Hessian (TrH) regularizer that measures the surface flatness. In practice, we restrict the TrH regularizer to the top layer only, which results in an analytical solution to the bound whose computational cost does not depend on the network depth. Finally, we evaluate our TrH regularization approach over CIFAR-10/100 and ImageNet using Vision Transformers (ViT) and compare against baseline adversarial robustness algorithms. Experimental results show that TrH regularization leads to improved ViT robustness that either matches or surpasses previous state-of-the-art approaches while at the same time requires less memory and computational cost.
• Abstract（参考訳）: 近年のロバスト最適化の研究により、攻撃に対して訓練されたモデルがテストセットよりもトレーニングセットに高いロバスト性を示す過剰フィッティングのような現象が示されている。 以前の研究は、対向検定誤差に頑健なPAC-ベイジアン境界を用いてこの現象の理論的な説明を提供したが、関連するアルゴリズムの導出は、この境界に極端にゆるやかに結びついているので、その経験的成功と我々の対向的堅牢性理論の理解の間にはまだギャップがあることを示している。 このギャップを締めくくるために,本論文ではロバストなpac-ベイズ結合の異なる形式を検討し,モデル後方についてそれを直接最小化する。 最適解の導出は、表面平坦性を測定するヘッシアン(trh)正規化子のトレースを通して、pac-ベイズ学習とロバストな損失面の幾何学を結びつける。 実際、trh正則化器はトップ層のみに制限され、計算コストがネットワークの深さに依存しない境界に対する解析解となる。 最後に,視覚トランスフォーマー(vit)を用いたcifar-10/100およびimagenetに対するtrh正規化手法を評価し,ベースライン逆ロバストネスアルゴリズムとの比較を行った。 実験結果から,TrH正則化によりViTのロバスト性が向上し,従来の最先端アプローチに適合するか,あるいは超過する一方で,メモリと計算コストの低減が図られた。

関連論文リスト

• Conformal Risk Minimization with Variance Reduction [37.74931189657469]
  コンフォーマル予測(CP)は、ブラックボックスモデルにおける確率的保証を達成するための分布自由フレームワークである。 最近の研究は、トレーニング中のCP効率の最適化に重点を置いている。 我々は、この概念を共形リスク最小化の問題として定式化する。
  論文  参考訳（メタデータ） (2024-11-03T21:48:15Z)
• The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
  医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。 敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。 本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
  論文  参考訳（メタデータ） (2024-05-14T18:05:19Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• High-dimensional Contextual Bandit Problem without Sparsity [8.782204980889077]
  本稿では,この問題に対処し,その性能を検証するための探索列コミット(EtC)アルゴリズムを提案する。 我々は、ETCアルゴリズムの最適レートを$T$で導出し、探索とエクスプロイトのバランスをとることで、このレートを実現できることを示す。 本稿では,最適バランスを適応的に求める適応探索定理 (AEtC) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-19T15:29:32Z)
• Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds [10.94126149188336]
  PAC-Bayes学習理論は、テストエラーの厳密な上限を確立することに重点を置いている。 PAC-Bayesトレーニングと呼ばれる最近提案されたトレーニング手順は、これらの境界を最小化するためにモデルを更新する。 このアプローチは理論的に健全であり、実際は、経験的リスク最小化(ERM)によって得られたものほど、テストエラーを達成していない。 PAC-Bayes トレーニングアルゴリズムを導入し,性能向上と事前チューニングへの依存度低減を実現した。
  論文  参考訳（メタデータ） (2023-05-30T17:31:25Z)
• Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
  本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:20:29Z)
• On the Minimal Adversarial Perturbation for Deep Neural Networks with Provable Estimation Error [65.51757376525798]
  敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。 検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。 本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。 その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
  論文  参考訳（メタデータ） (2022-01-04T16:40:03Z)
• Robust Regularization with Adversarial Labelling of Perturbed Samples [22.37046166576859]
  本稿では、正規化手法として、ALPS(Adversarial Labelling of Perturbed Samples)を提案する。 ALPSはニューラルネットワークを、それぞれの真正な入力サンプルを、逆向きに割り当てられたラベルとともに、別のものに向かって摂動することによって形成された合成サンプルで訓練する。 SVHN、CIFAR-10、CIFAR-100、Tiny-ImageNetのデータセットによる実験は、ALPSが最先端の正規化性能を持っていることを示している。
  論文  参考訳（メタデータ） (2021-05-28T11:26:49Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。