Fugu-MT 論文翻訳(概要): Feature Weaken: Vicinal Data Augmentation for Classification

論文の概要: Feature Weaken: Vicinal Data Augmentation for Classification

arxiv url: http://arxiv.org/abs/2211.10944v1
Date: Sun, 20 Nov 2022 11:00:23 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 17:26:27.049392
Title: Feature Weaken: Vicinal Data Augmentation for Classification
Title（参考訳）: Feature Weaken: 分類のためのウイルスデータ拡張
Authors: Songhao Jiang, Yan Chu, Tianxing Ma, Tianning Zang
Abstract要約: モデルトレーニングと同一のコサイン類似性を持つビジナルデータ分布を構築するためにFeature Weakenを用いている。この研究は、モデルの分類性能と一般化を改善するだけでなく、モデルの訓練を安定させ、モデルの収束を加速させる。
参考スコア（独自算出の注目度）: 1.7013938542585925
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning usually relies on training large-scale data samples to achieve better performance. However, over-fitting based on training data always remains a problem. Scholars have proposed various strategies, such as feature dropping and feature mixing, to improve the generalization continuously. For the same purpose, we subversively propose a novel training method, Feature Weaken, which can be regarded as a data augmentation method. Feature Weaken constructs the vicinal data distribution with the same cosine similarity for model training by weakening features of the original samples. In especially, Feature Weaken changes the spatial distribution of samples, adjusts sample boundaries, and reduces the gradient optimization value of back-propagation. This work can not only improve the classification performance and generalization of the model, but also stabilize the model training and accelerate the model convergence. We conduct extensive experiments on classical deep convolution neural models with five common image classification datasets and the Bert model with four common text classification datasets. Compared with the classical models or the generalization improvement methods, such as Dropout, Mixup, Cutout, and CutMix, Feature Weaken shows good compatibility and performance. We also use adversarial samples to perform the robustness experiments, and the results show that Feature Weaken is effective in improving the robustness of the model.
Abstract（参考訳）: ディープラーニングは通常、パフォーマンス向上のために大規模なデータサンプルのトレーニングに依存します。しかし、トレーニングデータに基づく過剰フィッティングは常に問題である。研究者は、連続的に一般化を改善するために、特徴の落下や特徴の混合のような様々な戦略を提案した。同じ目的のために,データ拡張法と見なすことのできる新しい訓練法である特徴弱化法を提案する。 Feature Weakenは、オリジナルのサンプルの特徴を弱めることにより、モデルトレーニングに同じコサイン類似性でビシナルデータ分布を構築する。特に、特徴弱化はサンプルの空間分布を変化させ、サンプル境界を調整し、バックプロパゲーションの勾配最適化値を減少させる。この研究は、モデルの分類性能と一般化を改善するだけでなく、モデルの訓練を安定させ、モデルの収束を加速させる。 5つの共通画像分類データセットと4つの共通テキスト分類データセットを持つBertモデルを用いて、古典的深層畳み込みニューラルモデルに関する広範な実験を行う。従来のモデルやDropout、Mixup、Cutout、CutMixといった一般化改善手法と比較すると、Feature Weakenは互換性と性能がよい。また, 対戦型サンプルを用いてロバスト性実験を行い, その結果, Feature Weaken がモデルのロバスト性向上に有効であることが示された。

関連論文リスト

MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文参考訳（メタデータ） (2024-10-02T16:05:03Z)
Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文参考訳（メタデータ） (2023-10-26T17:59:46Z)
Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文参考訳（メタデータ） (2023-05-22T23:43:23Z)
Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
論文参考訳（メタデータ） (2023-04-14T17:15:54Z)
Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。本手法は,検索性能の最先端手法を3%～6%向上させる。
論文参考訳（メタデータ） (2022-11-29T14:52:38Z)
DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
論文参考訳（メタデータ） (2022-09-12T15:01:04Z)
Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文参考訳（メタデータ） (2021-12-10T20:46:13Z)
Merging Models with Fisher-Weighted Averaging [24.698591753644077]
我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
論文参考訳（メタデータ） (2021-11-18T17:59:35Z)
No One Representation to Rule Them All: Overlapping Features of Training Methods [12.58238785151714]
ハイパフォーマンスモデルは、トレーニング方法論に関係なく、同様の予測をする傾向があります。近年の研究では、大規模なコントラスト学習など、非常に異なるトレーニングテクニックが、競争的に高い精度で実現されている。これらのモデルはデータの一般化に特化しており、より高いアンサンブル性能をもたらす。
論文参考訳（メタデータ） (2021-10-20T21:29:49Z)
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文参考訳（メタデータ） (2021-06-09T12:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。