論文の概要: k-Mixup Regularization for Deep Learning via Optimal Transport

• arxiv url: http://arxiv.org/abs/2106.02933v2
• Date: Sat, 7 Oct 2023 05:03:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 17:33:32.631999
• Title: k-Mixup Regularization for Deep Learning via Optimal Transport
• Title（参考訳）: 最適輸送による深層学習のためのk-Mixup正規化
• Authors: Kristjan Greenewald, Anming Gu, Mikhail Yurochkin, Justin Solomon, Edward Chien
• Abstract要約: Mixupは、ディープニューラルネットワークをトレーニングするための一般的な正規化テクニックである。 emph$k$-mixupは、他の$k$-batchesの方向に、トレーニングポイントの$k$-batchesを摂動させる。 我々は、$k$-mixupによるトレーニングにより、複数のネットワークアーキテクチャにおける一般化と堅牢性がさらに向上することを示す。
• 参考スコア（独自算出の注目度）: 32.951696405505686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixup is a popular regularization technique for training deep neural networks that improves generalization and increases robustness to certain distribution shifts. It perturbs input training data in the direction of other randomly-chosen instances in the training set. To better leverage the structure of the data, we extend mixup in a simple, broadly applicable way to \emph{$k$-mixup}, which perturbs $k$-batches of training points in the direction of other $k$-batches. The perturbation is done with displacement interpolation, i.e. interpolation under the Wasserstein metric. We demonstrate theoretically and in simulations that $k$-mixup preserves cluster and manifold structures, and we extend theory studying the efficacy of standard mixup to the $k$-mixup case. Our empirical results show that training with $k$-mixup further improves generalization and robustness across several network architectures and benchmark datasets of differing modalities. For the wide variety of real datasets considered, the performance gains of $k$-mixup over standard mixup are similar to or larger than the gains of mixup itself over standard ERM after hyperparameter optimization. In several instances, in fact, $k$-mixup achieves gains in settings where standard mixup has negligible to zero improvement over ERM.
• Abstract（参考訳）: mixupは、一般化を改善し、特定の分布シフトに対する堅牢性を高めるディープニューラルネットワークをトレーニングするための一般的な正規化テクニックである。 トレーニングセット内の他のランダムなインスタンスの方向に入力トレーニングデータを摂動する。 データの構造をよりよく活用するために、簡単な方法でミックスアップを拡張して、他の$k$-batches方向のトレーニングポイントの$k$-batchesを摂動する、\emph{$k$-mixup}に拡張する。 摂動は変位補間、すなわちワッサーシュタイン計量の下での補間によって行われる。 k$-mixup がクラスタ構造と多様体構造を保存するという理論的およびシミュレーションで実証し、標準 mixup の有効性を $k$-mixup の場合まで研究する理論を拡張した。 実験の結果,$k$-mixupを用いたトレーニングにより,複数のネットワークアーキテクチャと異なるモダリティのベンチマークデータセットの一般化と堅牢性が向上した。 さまざまな実際のデータセットが考慮されている場合、標準mixupに対する$k$-mixupのパフォーマンス向上は、ハイパーパラメータ最適化後の標準ermに対するmixup自体のパフォーマンス向上と同等かそれ以上である。 いくつかの例では、$k$-mixupは、標準的なmixupがermよりもゼロに改善できない設定で利益を得る。

関連論文リスト

• PowMix: A Versatile Regularizer for Multimodal Sentiment Analysis [71.8946280170493]
  本稿では,単相混合型正規化手法の強みを生かした汎用な埋め込み空間正規化器であるPowMixを紹介する。 PowMixはマルチモーダルアーキテクチャの融合段階の前に統合され、テキストとテキストを混合するなどのモダル内混合を容易にし、レギュレータとして機能する。
  論文  参考訳（メタデータ） (2023-12-19T17:01:58Z)
• Over-training with Mixup May Hurt Generalization [32.64382185990981]
  今回,Mixupトレーニングの既往の現象を報告する。 多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。 理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T18:37:34Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• OpenMixup: A Comprehensive Mixup Benchmark for Visual Classification [58.680100108871436]
  教師付き視覚分類のための総合的な混合ベンチマークであるOpenMixupを紹介する。 OpenMixupは、ミックスアップベースのモデル設計とトレーニングのフレームワークを提供し、幅広いデータミキシングアルゴリズム、広範囲に使用されているバックボーンとモジュール、モデル解析ツールキットのセットを含んでいる。
  論文  参考訳（メタデータ） (2022-09-11T12:46:01Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Epsilon Consistent Mixup: An Adaptive Consistency-Interpolation Tradeoff [19.03167022268852]
  epsilon$muは、Mixupの線形とMixup方向の整合性正規化を組み合わせたデータベースの構造正規化技術です。 SVHNおよびCIFAR10ベンチマークデータセットの半教師付き分類精度を改善することが示されている。 特に$epsilon$muは、Mixupよりも正確な合成ラベルと信頼性の高い予測を生成する。
  論文  参考訳（メタデータ） (2021-04-19T17:10:31Z)
• Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
  バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。 また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。 実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
  論文  参考訳（メタデータ） (2021-02-05T09:12:02Z)
• Improving Generalization in Reinforcement Learning with Mixture Regularization [113.12412071717078]
  そこで本研究では,異なるトレーニング環境からの観察を混合してエージェントを訓練する,mixregという簡単なアプローチを提案する。 Mixregはデータの多様性をより効果的に向上し、よりスムーズなポリシーを学ぶのに役立つ。 その結果、mixregは、未確認テスト環境において確立されたベースラインを大きなマージンで上回る結果となった。
  論文  参考訳（メタデータ） (2020-10-21T08:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。