論文の概要: Take Me Home: Reversing Distribution Shifts using Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2302.10341v1
- Date: Mon, 20 Feb 2023 22:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 17:01:19.155554
- Title: Take Me Home: Reversing Distribution Shifts using Reinforcement Learning
- Title(参考訳): Take Me Home: 強化学習を用いた分散シフトの反転
- Authors: Vivian Lin, Kuk Jang, Souradeep Dutta, Michele Caprio, Oleg Sokolsky,
Insup Lee
- Abstract要約: そこで本研究では,オンライン配信のシフトからシステムを回復するための代替手法を提案する。
我々は,分散シフトに対するImageNet-Cベンチマークに分布シフト回復手法を適用した。
我々は、さまざまな最先端のImageNetに対して、平均精度を14.21%まで改善したことを示す。
- 参考スコア(独自算出の注目度): 4.404010671832661
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have repeatedly been shown to be non-robust to the
uncertainties of the real world. Even subtle adversarial attacks and naturally
occurring distribution shifts wreak havoc on systems relying on deep neural
networks. In response to this, current state-of-the-art techniques use
data-augmentation to enrich the training distribution of the model and
consequently improve robustness to natural distribution shifts. We propose an
alternative approach that allows the system to recover from distribution shifts
online. Specifically, our method applies a sequence of semantic-preserving
transformations to bring the shifted data closer in distribution to the
training set, as measured by the Wasserstein distance. We formulate the problem
of sequence selection as an MDP, which we solve using reinforcement learning.
To aid in our estimates of Wasserstein distance, we employ dimensionality
reduction through orthonormal projection. We provide both theoretical and
empirical evidence that orthonormal projection preserves characteristics of the
data at the distributional level. Finally, we apply our distribution shift
recovery approach to the ImageNet-C benchmark for distribution shifts,
targeting shifts due to additive noise and image histogram modifications. We
demonstrate an improvement in average accuracy up to 14.21% across a variety of
state-of-the-art ImageNet classifiers.
- Abstract(参考訳): ディープニューラルネットワークは、現実世界の不確実性に非ロバストであることが繰り返し示されている。
微妙な敵意攻撃や自然発生の分布シフトでさえ、深層ニューラルネットワークに依存するシステムを混乱させる。
これに対応して、現在の最先端技術では、データ拡張を使用してモデルのトレーニング分布を強化し、結果として自然分布シフトに対する堅牢性を向上させる。
そこで本研究では,オンライン配信のシフトからシステムを回復するための代替手法を提案する。
具体的には,wasserstein距離で測定した分布変化をトレーニングセットに近づけるために,意味保存変換のシーケンスを適用する。
我々は,mdpとしてシーケンス選択の問題を定式化し,強化学習を用いて解く。
ワッサーシュタイン距離の推定を支援するために、正則射影による次元の減少を用いる。
正規直交射影が分布レベルでデータの特性を保存するという理論的および実証的な証拠を提供する。
最後に, 分布変化に対する分布変化回復手法をImageNet-Cベンチマークに適用し, 加算雑音や画像ヒストグラム修正による変化をターゲットとした。
我々は、様々な最先端のImageNet分類器で平均精度を14.21%改善することを示した。
関連論文リスト
- Reliable amortized variational inference with physics-based latent
distribution correction [0.4588028371034407]
ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。
このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。
補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
論文 参考訳(メタデータ) (2022-07-24T02:38:54Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳(メタデータ) (2021-10-05T11:36:25Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。
提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
論文 参考訳(メタデータ) (2020-09-18T17:52:34Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳(メタデータ) (2020-03-09T13:51:09Z) - Deep Residual Flow for Out of Distribution Detection [27.218308616245164]
本稿では,正規化フローに基づく表現密度モデルを活用することにより,最先端技術を改善する新しい手法を提案する。
本稿では,ResNet および DenseNet アーキテクチャにおける提案手法の有効性について述べる。
論文 参考訳(メタデータ) (2020-01-15T16:38:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。