論文の概要: Improving Robustness against Real-World and Worst-Case Distribution Shifts through Decision Region Quantification

• arxiv url: http://arxiv.org/abs/2205.09619v1
• Date: Thu, 19 May 2022 15:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 13:51:05.721626
• Title: Improving Robustness against Real-World and Worst-Case Distribution Shifts through Decision Region Quantification
• Title（参考訳）: 決定領域定量化による実世界のロバスト性向上とワーストケース分布シフト
• Authors: Leo Schwinn and Leon Bungert and An Nguyen and Ren\'e Raab and Falk Pulsmeyer and Doina Precup and Bj\"orn Eskofier and Dario Zanca
• Abstract要約: 本稿では, 決定領域定量化(DRQ)アルゴリズムを提案する。 DRQは、所定のデータポイント付近の局所的な決定領域の堅牢性を分析し、より信頼性の高い予測を行う。 大規模な実証的評価は、DRQが現実世界や最悪の分布シフトに対して、敵対的および非敵対的に訓練されたモデルの堅牢性を高めることを示している。
• 参考スコア（独自算出の注目度）: 34.52826326208197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reliability of neural networks is essential for their use in safety-critical applications. Existing approaches generally aim at improving the robustness of neural networks to either real-world distribution shifts (e.g., common corruptions and perturbations, spatial transformations, and natural adversarial examples) or worst-case distribution shifts (e.g., optimized adversarial examples). In this work, we propose the Decision Region Quantification (DRQ) algorithm to improve the robustness of any differentiable pre-trained model against both real-world and worst-case distribution shifts in the data. DRQ analyzes the robustness of local decision regions in the vicinity of a given data point to make more reliable predictions. We theoretically motivate the DRQ algorithm by showing that it effectively smooths spurious local extrema in the decision surface. Furthermore, we propose an implementation using targeted and untargeted adversarial attacks. An extensive empirical evaluation shows that DRQ increases the robustness of adversarially and non-adversarially trained models against real-world and worst-case distribution shifts on several computer vision benchmark datasets.
• Abstract（参考訳）: ニューラルネットワークの信頼性は、安全クリティカルなアプリケーションでの使用に不可欠である。 既存のアプローチは一般的に、ニューラルネットワークの堅牢性を改善することを目的としており、実世界の分散シフト(例えば、一般的な汚職や摂動、空間変換、自然対向的な例)や最悪の分散シフト(例えば、最適化された対向的な例)がある。 本研究では,実世界および最悪のデータ分散シフトに対して,任意の事前学習モデルのロバスト性を向上させるための決定領域定量化(DRQ)アルゴリズムを提案する。 drqは、所定のデータポイント付近の局所決定領域のロバスト性を分析し、より信頼できる予測を行う。 理論的には, 決定面における局所的極大を効果的に平滑化させることで, drqアルゴリズムの動機付けを行う。 さらに,標的攻撃と未目標攻撃を用いた実装を提案する。 広範な経験的評価により、drqは、いくつかのコンピュータビジョンベンチマークデータセットにおける実世界および最悪のケースの分散シフトに対して、敵対的および非敵対的に訓練されたモデルのロバスト性を高めることが示されている。

関連論文リスト

• Distributionally Robust Domain Adaptation [12.02023514105999]
  ドメイン適応(DA: Domain Adaptation)は、ソースドメインとターゲットドメインをまたいだ学習モデルに適合する可能性から、最近大きな注目を集めている。 本稿では,分散ロバストな領域適応手法DRDAを提案する。
  論文  参考訳（メタデータ） (2022-10-30T17:29:22Z)
• Distributed Distributionally Robust Optimization with Non-Convex Objectives [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2022-10-14T07:39:13Z)
• Global-Local Regularization Via Distributional Robustness [26.983769514262736]
  ディープニューラルネットワークは、しばしば敵の例や分布シフトに弱い。 最近のアプローチでは、分散ロバストネス最適化(DRO)を利用して、最も難しい分布を見つける。 本稿では,Wasserstein をベースとした DRO フレームワークの後継として,新たな正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-01T15:36:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Towards Trustworthy Predictions from Deep Neural Networks with Fast Adversarial Calibration [2.8935588665357077]
  本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。 本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
  論文  参考訳（メタデータ） (2020-12-20T13:39:29Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Global Distance-distributions Separation for Unsupervised Person Re-identification [93.39253443415392]
  既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。 本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。 本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-06-01T07:05:39Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。