論文の概要: Adversarial Mixing Policy for Relaxing Locally Linear Constraints in Mixup

• arxiv url: http://arxiv.org/abs/2109.07177v1
• Date: Wed, 15 Sep 2021 09:31:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:17:07.682539
• Title: Adversarial Mixing Policy for Relaxing Locally Linear Constraints in Mixup
• Title（参考訳）: 混合における局所線形制約緩和のための逆混合政策
• Authors: Guang Liu, Yuzhao Mao, Hailong Huang, Weiguo Gao, Xuan Li
• Abstract要約: Mixupは、最近のディープ分類ネットワークのレギュレータである。 本研究では,混合における局所線形制約を緩和するために,AMP(Adversarial Mixing Policy)を提案する。 AMPは、例ではなく混合係数に小さな逆摂動を加える。
• 参考スコア（独自算出の注目度）: 7.272501519394588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixup is a recent regularizer for current deep classification networks. Through training a neural network on convex combinations of pairs of examples and their labels, it imposes locally linear constraints on the model's input space. However, such strict linear constraints often lead to under-fitting which degrades the effects of regularization. Noticeably, this issue is getting more serious when the resource is extremely limited. To address these issues, we propose the Adversarial Mixing Policy (AMP), organized in a min-max-rand formulation, to relax the Locally Linear Constraints in Mixup. Specifically, AMP adds a small adversarial perturbation to the mixing coefficients rather than the examples. Thus, slight non-linearity is injected in-between the synthetic examples and synthetic labels. By training on these data, the deep networks are further regularized, and thus achieve a lower predictive error rate. Experiments on five text classification benchmarks and five backbone models have empirically shown that our methods reduce the error rate over Mixup variants in a significant margin (up to 31.3%), especially in low-resource conditions (up to 17.5%).
• Abstract（参考訳）: Mixupは、最近のディープ分類ネットワークのレギュレータである。 ニューラルネットワークをサンプルのペアとそのラベルの凸結合でトレーニングすることで、モデルの入力空間に局所的な線形制約を課す。 しかし、そのような厳密な線形制約は、しばしば正規化の効果を低下させる不適合をもたらす。 リソースが極端に限られているとき、この問題はますます深刻になっている。 これらの問題に対処するため,ミン・マックス・ラッドの定式化によって組織された Adversarial Mixing Policy (AMP) を提案し,Mixup における局所線形制約を緩和する。 具体的には、AMPは例ではなく混合係数に小さな逆摂動を加える。 したがって、合成例と合成ラベルの間にわずかに非線形性が注入される。 これらのデータをトレーニングすることで、ディープネットワークはさらに正規化され、予測エラー率を低下させる。 5つのテキスト分類ベンチマークと5つのバックボーンモデルの実験により、我々の手法は、特に低リソース条件(最大17.5%)において、大きなマージン(最大31.3%)でミックスアップ変種よりもエラー率を減少させることを示した。

関連論文リスト

• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• RankMixup: Ranking-Based Mixup Training for Network Calibration [29.994235475637435]
  ネットワークキャリブレーションは、信頼度を正確に見積もることを目的としている。 最近のアプローチでは、ミックスアップを利用してトレーニング中のネットワークの予測を調整している。 RankMixupは、ネットワークキャリブレーションのための新しいミックスアップベースのフレームワークである。
  論文  参考訳（メタデータ） (2023-08-23T08:25:30Z)
• Over-training with Mixup May Hurt Generalization [32.64382185990981]
  今回,Mixupトレーニングの既往の現象を報告する。 多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。 理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T18:37:34Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Preventing Manifold Intrusion with Locality: Local Mixup [10.358087436626391]
  Mixupは、入力サンプルと関連する出力を線形に補間するデータ依存の正規化技術である。 本稿では、損失を計算する際に、遠方の入力サンプルを重み付けするローカル・ミックスアップを提案する。
  論文  参考訳（メタデータ） (2022-01-12T09:05:53Z)
• Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures [100.55816326422773]
  線形分類問題に対する最大マージン分類器の現象について検討する。 その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
  論文  参考訳（メタデータ） (2021-04-28T08:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。