論文の概要: Rethinking Machine Learning Robustness via its Link with the Out-of-Distribution Problem

• arxiv url: http://arxiv.org/abs/2202.08944v1
• Date: Fri, 18 Feb 2022 00:17:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 14:15:45.573201
• Title: Rethinking Machine Learning Robustness via its Link with the Out-of-Distribution Problem
• Title（参考訳）: 分散問題との関連による機械学習の堅牢性再考
• Authors: Abderrahmen Amich, Birhanu Eshete
• Abstract要約: 本稿では,機械学習モデルの逆例に対する感受性の原因について検討する。 本稿では, 逆方向と自然方向の両方に反するOOD一般化法を提案する。 われわれのアプローチは、OODの敵入力に対する堅牢性を一貫して改善し、最先端の防御よりも優れています。
• 参考スコア（独自算出の注目度）: 16.154434566725012
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite multiple efforts made towards robust machine learning (ML) models, their vulnerability to adversarial examples remains a challenging problem that calls for rethinking the defense strategy. In this paper, we take a step back and investigate the causes behind ML models' susceptibility to adversarial examples. In particular, we focus on exploring the cause-effect link between adversarial examples and the out-of-distribution (OOD) problem. To that end, we propose an OOD generalization method that stands against both adversary-induced and natural distribution shifts. Through an OOD to in-distribution mapping intuition, our approach translates OOD inputs to the data distribution used to train and test the model. Through extensive experiments on three benchmark image datasets of different scales (MNIST, CIFAR10, and ImageNet) and by leveraging image-to-image translation methods, we confirm that the adversarial examples problem is a special case of the wider OOD generalization problem. Across all datasets, we show that our translation-based approach consistently improves robustness to OOD adversarial inputs and outperforms state-of-the-art defenses by a significant margin, while preserving the exact accuracy on benign (in-distribution) data. Furthermore, our method generalizes on naturally OOD inputs such as darker or sharper images
• Abstract（参考訳）: 堅牢な機械学習(ML)モデルへの複数の取り組みにもかかわらず、敵の例に対する脆弱性は、防衛戦略を再考する上で難しい問題である。 本稿では,MLモデルに対する感受性の背景にある要因について考察する。 特に,敵の事例とアウト・オブ・ディストリビューション(OOD)問題との因果関係について検討する。 そこで本研究では, 逆方向と自然方向の両方に反するOOD一般化手法を提案する。 OODから分布内マッピングへの直感を通じて,本手法では,OOD入力をモデルのトレーニングとテストに使用するデータ分布に変換する。 異なるスケールの3つのベンチマーク画像データセット(MNIST, CIFAR10, ImageNet)について広範な実験を行い, 画像と画像の変換手法を活用することにより, より広いOOD一般化問題の特別な場合であることを示す。 すべてのデータセットにおいて、我々の翻訳に基づくアプローチはOODの逆入力に対する堅牢性を一貫して改善し、良性(分布内)データに対する正確な精度を維持しつつ、最先端の防御を著しく上回ることを示す。 さらに、より暗い画像やシャープ画像などの自然OOD入力を一般化する。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Out-of-Distribution Learning with Human Feedback [26.398598663165636]
  本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。 当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。 人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
  論文  参考訳（メタデータ） (2024-08-14T18:49:27Z)
• Towards out-of-distribution generalization in large-scale astronomical surveys: robust networks learn similar representations [3.653721769378018]
  ニューラルネットワーク表現の類似度尺度である Centered Kernel Alignment (CKA) を用いて、表現類似度と性能の関係について検討する。 モデルが分散シフトに対して堅牢である場合、OODデータ上に層間でかなり異なる表現を生成することが分かりました。 本稿では,CKAを誘導バイアスとして取り入れることで,モデル設計,トレーニング戦略,OOD問題を緩和する上での類似性表現の可能性について論じる。
  論文  参考訳（メタデータ） (2023-11-29T19:00:05Z)
• OOD Aware Supervised Contrastive Learning [13.329080722482187]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習モデルの安全なデプロイにおいて重要な問題である。 我々は、Supervised Contrastive (SupCon)トレーニングで学んだ強力な表現を活用し、OODデータに対する堅牢性を学ぶための総合的なアプローチを提案する。 我々の解は単純で効率的であり、閉集合教師付きコントラスト表現学習の自然な拡張として機能する。
  論文  参考訳（メタデータ） (2023-10-03T10:38:39Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)
• Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
  ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。 本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。 本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
  論文  参考訳（メタデータ） (2022-07-25T13:45:11Z)
• Towards out of distribution generalization for problems in mechanics [0.0]
  アウト・オブ・ディストリビューション(OOD)の一般化は、テストデータがシフトする可能性があると仮定する。 従来の機械学習(ML)手法は、トレーニング(観測された)データとテスト(見えない)データが独立して同一に分散されているという仮定に依存している。
  論文  参考訳（メタデータ） (2022-06-29T21:14:08Z)
• OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
  現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。 本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-07-19T15:46:38Z)
• Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
  本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。 従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T08:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。