論文の概要: EntProp: High Entropy Propagation for Improving Accuracy and Robustness

• arxiv url: http://arxiv.org/abs/2405.18931v1
• Date: Wed, 29 May 2024 09:36:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 17:49:44.165393
• Title: EntProp: High Entropy Propagation for Improving Accuracy and Robustness
• Title（参考訳）: EntProp: 精度とロバスト性を改善するための高エントロピープロパゲーション
• Authors: Shohei Enomoto,
• Abstract要約: ディープニューラルネットワーク(DNN)は、トレーニング中のものと異なる分布外領域に一般化するのに苦労する。 実践的な応用においては、DNNが標準精度と配布外領域に対する堅牢性の両方を持つことが重要である。 エントロピーを増大させ,サンプルを分布内領域からさらに遠ざける2つの手法,すなわちデータ拡張と自由敵対的トレーニングを導入する。
• 参考スコア（独自算出の注目度）: 1.9580473532948401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) struggle to generalize to out-of-distribution domains that are different from those in training despite their impressive performance. In practical applications, it is important for DNNs to have both high standard accuracy and robustness against out-of-distribution domains. One technique that achieves both of these improvements is disentangled learning with mixture distribution via auxiliary batch normalization layers (ABNs). This technique treats clean and transformed samples as different domains, allowing a DNN to learn better features from mixed domains. However, if we distinguish the domains of the samples based on entropy, we find that some transformed samples are drawn from the same domain as clean samples, and these samples are not completely different domains. To generate samples drawn from a completely different domain than clean samples, we hypothesize that transforming clean high-entropy samples to further increase the entropy generates out-of-distribution samples that are much further away from the in-distribution domain. On the basis of the hypothesis, we propose high entropy propagation~(EntProp), which feeds high-entropy samples to the network that uses ABNs. We introduce two techniques, data augmentation and free adversarial training, that increase entropy and bring the sample further away from the in-distribution domain. These techniques do not require additional training costs. Our experimental results show that EntProp achieves higher standard accuracy and robustness with a lower training cost than the baseline methods. In particular, EntProp is highly effective at training on small datasets.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、優れたパフォーマンスにもかかわらず、トレーニング中のものとは異なる、配布外ドメインの一般化に苦慮している。 実践的な応用においては、DNNが標準精度と配布外領域に対する堅牢性の両方を持つことが重要である。 これら2つの改善を両立させる手法の1つは、補助バッチ正規化層(ABN)を介して混合分布を伴う非絡み合い学習である。 このテクニックはクリーンで変換されたサンプルを異なるドメインとして扱い、DNNは混合ドメインからより良い機能を学ぶことができる。 しかし、エントロピーに基づいてサンプルの領域を区別すると、いくつかの変換されたサンプルはクリーンなサンプルと同じドメインから引き出され、これらのサンプルは完全に異なるドメインではないことが分かる。 クリーンな試料とは全く異なる領域から引き出された試料を生成するために, 清潔な高エントロピー試料を変換して, 分布域からはるかに離れた分布域外試料をより多く生成する, という仮説を立てた。 この仮説に基づいて,ABNを用いたネットワークに高エントロピーのサンプルを供給する高エントロピー伝搬~(EntProp)を提案する。 エントロピーを増大させ,サンプルを分布内領域からさらに遠ざける2つの手法,すなわちデータ拡張と自由敵対的トレーニングを導入する。 これらの技術は追加の訓練費用を必要としない。 実験の結果,EntPropはベースライン法よりもトレーニングコストの低い標準精度とロバスト性を実現していることがわかった。 特にEntPropは、小さなデータセットのトレーニングに非常に効果的です。

関連論文リスト

• Continual Test-time Domain Adaptation via Dynamic Sample Selection [38.82346845855512]
  本稿では,連続テスト時間領域適応(CTDA)のための動的サンプル選択法を提案する。 誤情報を誤用するリスクを低減するため,高品質と低品質の両方のサンプルに共同正負の学習を適用した。 私たちのアプローチは3Dポイントのクラウドドメインでも評価されており、その汎用性とより広範な適用可能性を示している。
  論文  参考訳（メタデータ） (2023-10-05T06:35:21Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Sampling weights of deep neural networks [1.2370077627846041]
  完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。 教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。 サンプルネットワークが普遍近似器であることを証明する。
  論文  参考訳（メタデータ） (2023-06-29T10:13:36Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation [57.38418881020046]
  最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-25T09:29:27Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without Retraining [9.294580808320534]
  我々は、DGNが訓練された場合、学習多様体上に均一に分布するサンプルを生成する、微分幾何学に基づくサンプリング器、MaGNETを開発した。 我々は,この手法がトレーニングセットの分布によらず,多様体上の一様分布を生成することを理論的かつ実証的に証明する。
  論文  参考訳（メタデータ） (2021-10-15T11:12:56Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。