論文の概要: Selective Output Smoothing Regularization: Regularize Neural Networks by
Softening Output Distributions
- arxiv url: http://arxiv.org/abs/2103.15383v1
- Date: Mon, 29 Mar 2021 07:21:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 14:56:47.027167
- Title: Selective Output Smoothing Regularization: Regularize Neural Networks by
Softening Output Distributions
- Title（参考訳）: 選択的出力平滑化:出力分布の軟化によるニューラルネットワークの正規化
- Authors: Xuan Cheng, Tianshu Xie, Xiaomin Wang, Qifeng Weng, Minghui Liu, Jiali
Deng, Ming Liu
- Abstract要約: 畳み込みニューラルネットワーク(CNN)を学習するための新しい正規化手法であるSelective Output Smoothing Regularizationを提案する。
異なるサンプルからのトレーニングに対する多様な影響にインスパイアされたSelective Output Smoothing Regularizationは、モデルに不正なクラスで同等のロジットを生成するように促すことによって、パフォーマンスを改善する。
このプラグアンドプレイ正規化方法は、余分な手間をかけずに、ほぼすべてのCNNベースのプロジェクトに便利に組み込むことができる。
- 参考スコア（独自算出の注目度）: 5.725228891050467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose Selective Output Smoothing Regularization, a novel
regularization method for training the Convolutional Neural Networks (CNNs).
Inspired by the diverse effects on training from different samples, Selective
Output Smoothing Regularization improves the performance by encouraging the
model to produce equal logits on incorrect classes when dealing with samples
that the model classifies correctly and over-confidently. This plug-and-play
regularization method can be conveniently incorporated into almost any
CNN-based project without extra hassle. Extensive experiments have shown that
Selective Output Smoothing Regularization consistently achieves significant
improvement in image classification benchmarks, such as CIFAR-100, Tiny
ImageNet, ImageNet, and CUB-200-2011. Particularly, our method obtains
77.30$\%$ accuracy on ImageNet with ResNet-50, which gains 1.1$\%$ than
baseline (76.2$\%$). We also empirically demonstrate the ability of our method
to make further improvements when combining with other widely used
regularization techniques. On Pascal detection, using the SOSR-trained ImageNet
classifier as the pretrained model leads to better detection performances.
Moreover, we demonstrate the effectiveness of our method in small sample size
problem and imbalanced dataset problem.
- Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(CNN)を学習するための新しい正規化手法であるSelective Output Smoothing Regularizationを提案する。
Selective Output Smoothing Regularizationは、異なるサンプルからのトレーニングに対する多様な影響に触発され、モデルが正しくかつ過度に機密に分類するサンプルを扱う際に、間違ったクラスで同等のロジットを生成するようモデルに促すことによって、パフォーマンスを改善する。
このプラグアンドプレイ正規化方法は、余分な手間をかけずに、ほぼすべてのCNNベースのプロジェクトに便利に組み込むことができる。
CIFAR-100, Tiny ImageNet, ImageNet, CUB-200-2011 などの画像分類ベンチマークにおいて, Selective Output Smoothing Regularization は一貫して大幅に改善されている。
特に、resnet-50によるimagenetの77.30$\%$精度はベースライン(76.2$\%$)よりも1.1$$$$$$$である。
また,本手法が他の広範に使用される正規化手法と組み合わせることで,さらに改善できることを示す。
パスカル検出では、sosrで学習したimagenet分類器を事前学習モデルとして使用すると、検出性能が向上する。
さらに,本手法のサンプルサイズ問題と不均衡データセット問題における有効性を示す。
関連論文リスト
- SGM-PINN: Sampling Graphical Models for Faster Training of Physics-Informed Neural Networks [4.262342157729123]
SGM-PINNは物理情報ニューラルネットワーク(PINN)のトレーニング効率を向上させるグラフベースの重要度サンプリングフレームワークである
提案手法の利点を実証し,従来の最先端サンプリング手法と比較して3倍の収束性を実現した。
論文 参考訳（メタデータ） (2024-07-10T04:31:50Z) - Changing the Training Data Distribution to Reduce Simplicity Bias Improves In-distribution Generalization [12.472871440252105]
シャープネスを意識した最小化(SAM)は,特に初期の時代において,異なる特徴をより均一に学習することを示す。
i) トレーニングの早い段階でネットワーク出力に基づいてサンプルをクラスタリングし、(ii) 類似したネットワーク出力を持つサンプルのクラスタを特定し、(iii) 単純さのバイアスを軽減するために、残りのサンプルを1回だけアップサンプリングする手法を提案する。
論文 参考訳（メタデータ） (2024-04-27T03:30:50Z) - Improving Generalization via Meta-Learning on Hard Samples [8.96835934244022]
検証集合における難しい分類インスタンスの使用は、理論上の関係と、一般化の強い経験的証拠の両方を持つことを示す。
我々は,このメタ最適化モデルを訓練するための効率的なアルゴリズムと,注意深い比較研究のための簡単なトレインツースを提供する。
論文 参考訳（メタデータ） (2024-03-18T20:33:44Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。
ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
論文 参考訳（メタデータ） (2023-06-16T21:53:16Z) - SSBNet: Improving Visual Recognition Efficiency by Adaptive Sampling [1.7767466724342065]
ディープニューラルネットワークのビルディングブロックにおける適応サンプリングを用いることで、その効率が向上することを示す。
特に,サンプリング層をResNetなどの既存ネットワークに繰り返し挿入することで構築するSSBNetを提案する。
実験結果から,提案したSSBNetは,ImageNetおよびデータセット上での競合画像分類とオブジェクト検出性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2022-07-23T13:01:55Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳（メタデータ） (2021-09-04T02:45:22Z) - Learning to Learn Parameterized Classification Networks for Scalable
Input Images [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。
我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。
さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
論文 参考訳（メタデータ） (2020-07-13T04:27:25Z) - Deep Residual Flow for Out of Distribution Detection [27.218308616245164]
本稿では,正規化フローに基づく表現密度モデルを活用することにより,最先端技術を改善する新しい手法を提案する。
本稿では,ResNet および DenseNet アーキテクチャにおける提案手法の有効性について述べる。
論文 参考訳（メタデータ） (2020-01-15T16:38:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。