論文の概要: Take Me Home: Reversing Distribution Shifts using Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2302.10341v1
• Date: Mon, 20 Feb 2023 22:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 17:01:19.155554
• Title: Take Me Home: Reversing Distribution Shifts using Reinforcement Learning
• Title（参考訳）: Take Me Home: 強化学習を用いた分散シフトの反転
• Authors: Vivian Lin, Kuk Jang, Souradeep Dutta, Michele Caprio, Oleg Sokolsky, Insup Lee
• Abstract要約: そこで本研究では,オンライン配信のシフトからシステムを回復するための代替手法を提案する。 我々は,分散シフトに対するImageNet-Cベンチマークに分布シフト回復手法を適用した。 我々は、さまざまな最先端のImageNetに対して、平均精度を14.21%まで改善したことを示す。
• 参考スコア（独自算出の注目度）: 4.404010671832661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have repeatedly been shown to be non-robust to the uncertainties of the real world. Even subtle adversarial attacks and naturally occurring distribution shifts wreak havoc on systems relying on deep neural networks. In response to this, current state-of-the-art techniques use data-augmentation to enrich the training distribution of the model and consequently improve robustness to natural distribution shifts. We propose an alternative approach that allows the system to recover from distribution shifts online. Specifically, our method applies a sequence of semantic-preserving transformations to bring the shifted data closer in distribution to the training set, as measured by the Wasserstein distance. We formulate the problem of sequence selection as an MDP, which we solve using reinforcement learning. To aid in our estimates of Wasserstein distance, we employ dimensionality reduction through orthonormal projection. We provide both theoretical and empirical evidence that orthonormal projection preserves characteristics of the data at the distributional level. Finally, we apply our distribution shift recovery approach to the ImageNet-C benchmark for distribution shifts, targeting shifts due to additive noise and image histogram modifications. We demonstrate an improvement in average accuracy up to 14.21% across a variety of state-of-the-art ImageNet classifiers.
• Abstract（参考訳）: ディープニューラルネットワークは、現実世界の不確実性に非ロバストであることが繰り返し示されている。 微妙な敵意攻撃や自然発生の分布シフトでさえ、深層ニューラルネットワークに依存するシステムを混乱させる。 これに対応して、現在の最先端技術では、データ拡張を使用してモデルのトレーニング分布を強化し、結果として自然分布シフトに対する堅牢性を向上させる。 そこで本研究では,オンライン配信のシフトからシステムを回復するための代替手法を提案する。 具体的には,wasserstein距離で測定した分布変化をトレーニングセットに近づけるために,意味保存変換のシーケンスを適用する。 我々は,mdpとしてシーケンス選択の問題を定式化し,強化学習を用いて解く。 ワッサーシュタイン距離の推定を支援するために、正則射影による次元の減少を用いる。 正規直交射影が分布レベルでデータの特性を保存するという理論的および実証的な証拠を提供する。 最後に, 分布変化に対する分布変化回復手法をImageNet-Cベンチマークに適用し, 加算雑音や画像ヒストグラム修正による変化をターゲットとした。 我々は、様々な最先端のImageNet分類器で平均精度を14.21%改善することを示した。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Target to Source: Guidance-Based Diffusion Model for Test-Time Adaptation [8.695439655048634]
  データシフトを克服するために,新しいガイダンスベース拡散駆動適応法(GDDA)を提案する。 GDDAは最先端のベースラインよりも大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-12-08T02:31:36Z)
• Stable Target Field for Reduced Variance Score Estimation in Diffusion Models [5.9115407007859755]
  拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。 このような分散の源泉は、中間雑音分散スケールの取り扱いにあると論じる。 より安定したトレーニングターゲットとして重み付けされた条件スコアを計算するために使用する参照バッチを組み込むことにより、この問題を修復することを提案する。
  論文  参考訳（メタデータ） (2023-02-01T18:57:01Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• Generalized Zero and Few-Shot Transfer for Facial Forgery Detection [3.8073142980733]
  フォージェリ検出の文脈でゼロおよび少数ショット転送の問題に対処する新しいトランスファー学習手法を提案する。 従来の分類や最先端のドメイン適応/ファウショット学習手法と比較して,この学習戦略は驚くほど効果的である。
  論文  参考訳（メタデータ） (2020-06-21T18:10:52Z)
• Deep Residual Flow for Out of Distribution Detection [27.218308616245164]
  本稿では,正規化フローに基づく表現密度モデルを活用することにより,最先端技術を改善する新しい手法を提案する。 本稿では,ResNet および DenseNet アーキテクチャにおける提案手法の有効性について述べる。
  論文  参考訳（メタデータ） (2020-01-15T16:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。