論文の概要: Model-Based Robust Deep Learning: Generalizing to Natural,
Out-of-Distribution Data
- arxiv url: http://arxiv.org/abs/2005.10247v2
- Date: Mon, 2 Nov 2020 13:20:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 04:28:30.562917
- Title: Model-Based Robust Deep Learning: Generalizing to Natural,
Out-of-Distribution Data
- Title（参考訳）: モデルに基づくロバスト深層学習:自然分布データへの一般化
- Authors: Alexander Robey, Hamed Hassani, George J. Pappas
- Abstract要約: 本稿では,摂動に基づく逆方向の強靭性からモデルに基づく頑健な深層学習へのパラダイムシフトを提案する。
我々の目標は、深層ニューラルネットワークを訓練し、データの自然な変動に対して堅牢にするための一般的なトレーニングアルゴリズムを提供することです。
- 参考スコア（独自算出の注目度）: 104.69689574851724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep learning has resulted in major breakthroughs in many application
domains, the frameworks commonly used in deep learning remain fragile to
artificially-crafted and imperceptible changes in the data. In response to this
fragility, adversarial training has emerged as a principled approach for
enhancing the robustness of deep learning with respect to norm-bounded
perturbations. However, there are other sources of fragility for deep learning
that are arguably more common and less thoroughly studied. Indeed, natural
variation such as lighting or weather conditions can significantly degrade the
accuracy of trained neural networks, proving that such natural variation
presents a significant challenge for deep learning.
In this paper, we propose a paradigm shift from perturbation-based
adversarial robustness toward model-based robust deep learning. Our objective
is to provide general training algorithms that can be used to train deep neural
networks to be robust against natural variation in data. Critical to our
paradigm is first obtaining a model of natural variation which can be used to
vary data over a range of natural conditions. Such models may be either known a
priori or else learned from data. In the latter case, we show that deep
generative models can be used to learn models of natural variation that are
consistent with realistic conditions. We then exploit such models in three
novel model-based robust training algorithms in order to enhance the robustness
of deep learning with respect to the given model. Our extensive experiments
show that across a variety of naturally-occurring conditions and across various
datasets, deep neural networks trained with our model-based algorithms
significantly outperform both standard deep learning algorithms as well as
norm-bounded robust deep learning algorithms.
- Abstract（参考訳）: ディープラーニングは多くのアプリケーション領域で大きなブレークスルーをもたらしたが、ディープラーニングで一般的に使用されるフレームワークは、人工的に構築されたデータの変更に対して脆弱なままである。
この脆弱さに応えて、逆行訓練は、標準有界摂動に対する深層学習の堅牢性を高めるための原則的アプローチとして登場した。
しかし、より一般的であり、十分に研究されていない深層学習には、他の脆弱性源がある。
実際、照明や気象条件などの自然変動は、訓練されたニューラルネットワークの精度を著しく低下させ、そのような自然変動がディープラーニングにとって重要な課題であることを示す。
本稿では,摂動に基づく逆方向の強靭性からモデルに基づく頑健な深層学習へのパラダイムシフトを提案する。
我々の目標は、深層ニューラルネットワークを訓練し、データの自然な変動に対して堅牢にするための一般的なトレーニングアルゴリズムを提供することです。
我々のパラダイムにとって重要なことは、まず、様々な自然条件におけるデータの変動に使用できる自然変動のモデルを得ることである。
このようなモデルは、プリオリや、データから学んだものでも知られている。
後者の場合,本モデルを用いて,現実的な条件に整合した自然変動のモデルを学ぶことができることを示す。
次に,これらのモデルを3つの新しいモデルベースロバストトレーニングアルゴリズムに利用して,与えられたモデルに対するディープラーニングのロバスト性を高める。
我々の広範な実験は、自然に発生するさまざまな条件や、さまざまなデータセットにわたって、モデルベースのアルゴリズムで訓練されたディープニューラルネットワークが、標準ディープラーニングアルゴリズムとノルムバウンドな堅牢ディープラーニングアルゴリズムの両方を著しく上回っていることを示している。
関連論文リスト
- Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。
ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
論文 参考訳（メタデータ） (2024-05-29T04:53:31Z) - Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。
提案手法では,パラメータ数を70%以上圧縮できる。
また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文 参考訳（メタデータ） (2023-12-16T23:23:16Z) - Neuro-symbolic model for cantilever beams damage detection [0.0]
本稿では,新しい認知アーキテクチャに基づくカンチレバービームの損傷検出のためのニューロシンボリックモデルを提案する。
ハイブリッド識別モデルはLogic Convolutional Neural Regressorという名称で導入されている。
論文 参考訳（メタデータ） (2023-05-04T13:12:39Z) - Characterizing and overcoming the greedy nature of learning in
multi-modal deep neural networks [62.48782506095565]
深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。
本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
論文 参考訳（メタデータ） (2022-02-10T20:11:21Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Factorized Deep Generative Models for Trajectory Generation with
Spatiotemporal-Validity Constraints [10.960924101404498]
軌跡データの深い生成モデルは、洗練された潜伏パターンの表現的説明モデルを学ぶことができる。
まず、時間不変変数と時間不変変数を分解する新しい深部生成モデルを提案する。
そこで我々は,時間的妥当性に対する変動推論と制約付き最適化に基づく新しい推論戦略を開発した。
論文 参考訳（メタデータ） (2020-09-20T02:06:36Z) - Learning perturbation sets for robust machine learning [97.6757418136662]
我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。
学習した摂動集合の質を定量的かつ質的に測定する。
我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
論文 参考訳（メタデータ） (2020-07-16T16:39:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。