論文の概要: k-Mixup Regularization for Deep Learning via Optimal Transport

• arxiv url: http://arxiv.org/abs/2106.02933v1
• Date: Sat, 5 Jun 2021 17:08:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 02:25:41.049402
• Title: k-Mixup Regularization for Deep Learning via Optimal Transport
• Title（参考訳）: 最適輸送による深層学習のためのk-Mixup正規化
• Authors: Kristjan Greenewald, Anming Gu, Mikhail Yurochkin, Justin Solomon, Edward Chien
• Abstract要約: Mixupは、ディープニューラルネットワークをトレーニングするための一般的な正規化テクニックである。 他の$k$-batchesの方向に、トレーニングポイントの$k$-batchesを摂動することで、ミックスアップをemph$k$-mixupに拡張します。
• 参考スコア（独自算出の注目度）: 38.81806249664884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixup is a popular regularization technique for training deep neural networks that can improve generalization and increase adversarial robustness. It perturbs input training data in the direction of other randomly-chosen instances in the training set. To better leverage the structure of the data, we extend mixup to \emph{$k$-mixup} by perturbing $k$-batches of training points in the direction of other $k$-batches using displacement interpolation, interpolation under the Wasserstein metric. We demonstrate theoretically and in simulations that $k$-mixup preserves cluster and manifold structures, and we extend theory studying efficacy of standard mixup. Our empirical results show that training with $k$-mixup further improves generalization and robustness on benchmark datasets.
• Abstract（参考訳）: Mixupはディープニューラルネットワークをトレーニングする一般的な正規化テクニックであり、一般化を改善し、対向的堅牢性を高めることができる。 トレーニングセット内の他のランダムなインスタンスの方向に入力トレーニングデータを摂動する。 データの構造をよりよく活用するために、ワッサーシュタイン計量の下での補間を用いて、他の$k$-バッチの方向のトレーニングポイントの$k$-batchesを摂動することで、混合を \emph{$k$-mixup} に拡張する。 我々は、k$-mixup がクラスター構造と多様体構造を保存することを理論的およびシミュレーションで証明し、標準ミックスアップの有効性を研究する理論を拡張した。 実験の結果,$k$-mixupによるトレーニングは,ベンチマークデータセットの一般化と堅牢性をさらに向上させることが示された。

関連論文リスト

• PowMix: A Versatile Regularizer for Multimodal Sentiment Analysis [71.8946280170493]
  本稿では,単相混合型正規化手法の強みを生かした汎用な埋め込み空間正規化器であるPowMixを紹介する。 PowMixはマルチモーダルアーキテクチャの融合段階の前に統合され、テキストとテキストを混合するなどのモダル内混合を容易にし、レギュレータとして機能する。
  論文  参考訳（メタデータ） (2023-12-19T17:01:58Z)
• The Benefits of Mixup for Feature Learning [117.93273337740442]
  最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
  論文  参考訳（メタデータ） (2023-03-15T08:11:47Z)
• Over-training with Mixup May Hurt Generalization [32.64382185990981]
  今回,Mixupトレーニングの既往の現象を報告する。 多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。 理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T18:37:34Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Epsilon Consistent Mixup: An Adaptive Consistency-Interpolation Tradeoff [19.03167022268852]
  epsilon$muは、Mixupの線形とMixup方向の整合性正規化を組み合わせたデータベースの構造正規化技術です。 SVHNおよびCIFAR10ベンチマークデータセットの半教師付き分類精度を改善することが示されている。 特に$epsilon$muは、Mixupよりも正確な合成ラベルと信頼性の高い予測を生成する。
  論文  参考訳（メタデータ） (2021-04-19T17:10:31Z)
• Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
  バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。 また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。 実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
  論文  参考訳（メタデータ） (2021-02-05T09:12:02Z)
• Improving Generalization in Reinforcement Learning with Mixture Regularization [113.12412071717078]
  そこで本研究では,異なるトレーニング環境からの観察を混合してエージェントを訓練する,mixregという簡単なアプローチを提案する。 Mixregはデータの多様性をより効果的に向上し、よりスムーズなポリシーを学ぶのに役立つ。 その結果、mixregは、未確認テスト環境において確立されたベースラインを大きなマージンで上回る結果となった。
  論文  参考訳（メタデータ） (2020-10-21T08:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。