論文の概要: DC4L: Distribution Shift Recovery via Data-Driven Control for Deep Learning Models

• arxiv url: http://arxiv.org/abs/2302.10341v3
• Date: Wed, 15 May 2024 19:56:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 19:53:36.276963
• Title: DC4L: Distribution Shift Recovery via Data-Driven Control for Deep Learning Models
• Title（参考訳）: DC4L:ディープラーニングモデルのためのデータ駆動制御による配電シフト回復
• Authors: Vivian Lin, Kuk Jin Jang, Souradeep Dutta, Michele Caprio, Oleg Sokolsky, Insup Lee,
• Abstract要約: 学習したモデルに対する制御を用いて、オンライン配信のシフトから回復することを提案する。 提案手法では, 学習セットにシフトしたデータを近づけるために, セマンティック保存変換のシーケンスを適用した。 本稿では,ImageNet-Cベンチマークからのシフトの合成に一般化し,平均精度を最大9.81%向上することを示す。
• 参考スコア（独自算出の注目度）: 4.374569172244273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have repeatedly been shown to be non-robust to the uncertainties of the real world, even to naturally occurring ones. A vast majority of current approaches have focused on data-augmentation methods to expand the range of perturbations that the classifier is exposed to while training. A relatively unexplored avenue that is equally promising involves sanitizing an image as a preprocessing step, depending on the nature of perturbation. In this paper, we propose to use control for learned models to recover from distribution shifts online. Specifically, our method applies a sequence of semantic-preserving transformations to bring the shifted data closer in distribution to the training set, as measured by the Wasserstein distance. Our approach is to 1) formulate the problem of distribution shift recovery as a Markov decision process, which we solve using reinforcement learning, 2) identify a minimum condition on the data for our method to be applied, which we check online using a binary classifier, and 3) employ dimensionality reduction through orthonormal projection to aid in our estimates of the Wasserstein distance. We provide theoretical evidence that orthonormal projection preserves characteristics of the data at the distributional level. We apply our distribution shift recovery approach to the ImageNet-C benchmark for distribution shifts, demonstrating an improvement in average accuracy of up to 14.21% across a variety of state-of-the-art ImageNet classifiers. We further show that our method generalizes to composites of shifts from the ImageNet-C benchmark, achieving improvements in average accuracy of up to 9.81%. Finally, we test our method on CIFAR-100-C and report improvements of up to 8.25%.
• Abstract（参考訳）: ディープニューラルネットワークは、自然発生のニューラルネットワークでさえも、現実世界の不確実性に反するものではないことが繰り返し示されている。 現在のアプローチの大半は、トレーニング中に分類器が露出する摂動範囲を拡張するために、データ拡張手法に重点を置いている。 同じように期待できる比較的未探索の道は、摂動の性質によって、前処理ステップとしてイメージを衛生することである。 本稿では,学習モデルに対する制御を用いて,オンライン配信のシフトから回復する手法を提案する。 具体的には、ワッサーシュタイン距離によって測定されるように、シフトしたデータをトレーニングセットに近づけるために、セマンティック保存変換のシーケンスを適用する。 私たちのアプローチは 1) マルコフ決定過程として分布シフト回復の問題を定式化し, 強化学習を用いて解いた。 2) 適用すべきメソッドのデータに対する最小条件を特定し, バイナリ分類器を用いてオンラインで確認する。 3) ワッサーシュタイン距離の推定を支援するために正則射影による次元減少を用いる。 正規直交射影が分布レベルでのデータの特性を保存するという理論的証拠を提供する。 分布シフト回復手法をImageNet-Cベンチマークに適用し、様々な最先端のImageNet分類器の平均精度を14.21%改善したことを示す。 さらに,この手法はImageNet-Cベンチマークからのシフトの合成に一般化し,平均精度を最大9.81%向上させることを示す。 最後に,CIFAR-100-Cで試験を行い,最大8.25%の改善を報告した。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Target to Source: Guidance-Based Diffusion Model for Test-Time Adaptation [8.695439655048634]
  データシフトを克服するために,新しいガイダンスベース拡散駆動適応法(GDDA)を提案する。 GDDAは最先端のベースラインよりも大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-12-08T02:31:36Z)
• Stable Target Field for Reduced Variance Score Estimation in Diffusion Models [5.9115407007859755]
  拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。 このような分散の源泉は、中間雑音分散スケールの取り扱いにあると論じる。 より安定したトレーニングターゲットとして重み付けされた条件スコアを計算するために使用する参照バッチを組み込むことにより、この問題を修復することを提案する。
  論文  参考訳（メタデータ） (2023-02-01T18:57:01Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• Generalized Zero and Few-Shot Transfer for Facial Forgery Detection [3.8073142980733]
  フォージェリ検出の文脈でゼロおよび少数ショット転送の問題に対処する新しいトランスファー学習手法を提案する。 従来の分類や最先端のドメイン適応/ファウショット学習手法と比較して,この学習戦略は驚くほど効果的である。
  論文  参考訳（メタデータ） (2020-06-21T18:10:52Z)
• Deep Residual Flow for Out of Distribution Detection [27.218308616245164]
  本稿では,正規化フローに基づく表現密度モデルを活用することにより,最先端技術を改善する新しい手法を提案する。 本稿では,ResNet および DenseNet アーキテクチャにおける提案手法の有効性について述べる。
  論文  参考訳（メタデータ） (2020-01-15T16:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。