論文の概要: Noisy Feature Mixup
- arxiv url: http://arxiv.org/abs/2110.02180v1
- Date: Tue, 5 Oct 2021 17:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-06 16:11:49.913068
- Title: Noisy Feature Mixup
- Title（参考訳）: ノイズ機能ミックスアップ
- Authors: Soon Hoe Lim, N. Benjamin Erichson, Francisco Utrera, Winnie Xu,
Michael W. Mahoney
- Abstract要約: NFM(Noisy Feature Mixup)は,データ拡張のための安価で効果的な手法である。
NFMは特別な場合として混合と多様体の混合を含むが、決定境界の平滑化など、さらなる利点がある。
NFMでトレーニングした残差ネットワークと視覚変換器は、クリーンデータにおける予測精度と各種データに対するロバスト性との間に良好なトレードオフがあることが示される。
- 参考スコア（独自算出の注目度）: 42.056684988818766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Noisy Feature Mixup (NFM), an inexpensive yet effective method
for data augmentation that combines the best of interpolation based training
and noise injection schemes. Rather than training with convex combinations of
pairs of examples and their labels, we use noise-perturbed convex combinations
of pairs of data points in both input and feature space. This method includes
mixup and manifold mixup as special cases, but it has additional advantages,
including better smoothing of decision boundaries and enabling improved model
robustness. We provide theory to understand this as well as the implicit
regularization effects of NFM. Our theory is supported by empirical results,
demonstrating the advantage of NFM, as compared to mixup and manifold mixup. We
show that residual networks and vision transformers trained with NFM have
favorable trade-offs between predictive accuracy on clean data and robustness
with respect to various types of data perturbation across a range of computer
vision benchmark datasets.
- Abstract（参考訳）: 本研究では,補間ベーストレーニングとノイズインジェクション方式を組み合わせた,安価かつ効果的なデータ拡張手法であるノイズ機能混合(nfm)を提案する。
例とラベルのペアの凸の組み合わせをトレーニングするのではなく、入力と特徴空間の両方で、データポイントのペアのノイズ摂動凸の組み合わせを使用する。
この方法は特別な場合として混合と多様体の混合を含むが、決定境界の平滑化やモデルロバスト性の改善など、さらなる利点がある。
我々は、nfmの暗黙の正規化効果と同様に、これを理解するための理論を提供する。
この理論は, NFMの利点を, 混合および多様体混合と比較して実証的に裏付けるものである。
NFMでトレーニングされた残差ネットワークと視覚変換器は、コンピュータビジョンベンチマークデータセットの様々な種類のデータ摂動に対して、クリーンなデータに対する予測精度とロバストさのトレードオフが好ましいことを示す。
関連論文リスト
- Tailoring Mixup to Data for Calibration [12.050401897136501]
Mixupはキャリブレーションと予測の不確実性を改善する技術である。
この研究では、データ間の距離が混合されるにつれて、多様体の侵入の可能性が増加することを論じる。
本研究では, 混合する試料間の類似度に応じて, 係数の基底分布を動的に変化させることを提案する。
論文 参考訳（メタデータ） (2023-11-02T17:48:28Z) - EMOFM: Ensemble MLP mOdel with Feature-based Mixers for Click-Through
Rate Prediction [5.983194751474721]
データセットには数百万のレコードが含まれており、レコード内の各フィールドワイド機能は、プライバシのためのハッシュされた整数で構成されている。
このタスクのために、ネットワークベースの手法のキーは、異なるフィールドにまたがるタイプワイドな特徴抽出と情報融合であるかもしれない。
フィールド/タイプワイド機能融合のためのプラグインミキサーを提案し、フィールド/タイプワイドアンサンブルモデル、すなわちEMOFMを構築する。
論文 参考訳（メタデータ） (2023-10-06T12:32:23Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - MixupE: Understanding and Improving Mixup from Directional Derivative
Perspective [86.06981860668424]
理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。
提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
論文 参考訳（メタデータ） (2022-12-27T07:03:52Z) - Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。
また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
論文 参考訳（メタデータ） (2022-06-17T09:49:00Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳（メタデータ） (2022-03-21T07:12:18Z) - Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。
また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。
実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
論文 参考訳（メタデータ） (2021-02-05T09:12:02Z) - A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。
条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。
混合物のパラメータと距離測定値に基づいて後部推論を行う。
論文 参考訳（メタデータ） (2020-12-03T18:08:30Z) - Suppressing Mislabeled Data via Grouping and Self-Attention [60.14212694011875]
ディープネットワークは大規模クリーンなデータに対して優れた結果を得るが、ノイズのあるラベルから学習すると著しく劣化する。
本稿では,概念的にシンプルだが効率的な学習ブロックを提案し,これをAFM(Attentive Feature Mixup)と呼ぶ。
クリーンなサンプルにもっと注意を払うことができ、小さなグループでのサンプルインタラクションを通じて、ラベルを間違えることが少なくなります。
論文 参考訳（メタデータ） (2020-10-29T13:54:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。