論文の概要: MixupE: Understanding and Improving Mixup from Directional Derivative Perspective

• arxiv url: http://arxiv.org/abs/2212.13381v3
• Date: Wed, 14 Jun 2023 00:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 02:34:14.633583
• Title: MixupE: Understanding and Improving Mixup from Directional Derivative Perspective
• Title（参考訳）: MixupE: 方向微分の観点からのミックスアップの理解と改善
• Authors: Yingtian Zou, Vikas Verma, Sarthak Mittal, Wai Hoh Tang, Hieu Pham, Juho Kannala, Yoshua Bengio, Arno Solin, Kenji Kawaguchi
• Abstract要約: 理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
• 参考スコア（独自算出の注目度）: 96.85818558667917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixup is a popular data augmentation technique for training deep neural networks where additional samples are generated by linearly interpolating pairs of inputs and their labels. This technique is known to improve the generalization performance in many learning paradigms and applications. In this work, we first analyze Mixup and show that it implicitly regularizes infinitely many directional derivatives of all orders. Based on this new insight, we propose an improved version of Mixup, theoretically justified to deliver better generalization performance than the vanilla Mixup. To demonstrate the effectiveness of the proposed method, we conduct experiments across various domains such as images, tabular data, speech, and graphs. Our results show that the proposed method improves Mixup across multiple datasets using a variety of architectures, for instance, exhibiting an improvement over Mixup by 0.8% in ImageNet top-1 accuracy.
• Abstract（参考訳）: Mixupはディープニューラルネットワークをトレーニングするための一般的なデータ拡張テクニックで、入力とラベルを線形に補間することで追加サンプルを生成する。 この技術は多くの学習パラダイムや応用において一般化性能を向上させることが知られている。 本研究では,まず混合を解析し,すべての順序の無限個の方向微分を暗黙的に規則化することを示す。 この新たな知見に基づいて,理論上はバニラミックスアップよりも優れた一般化性能を提供するため,mixupの改良版を提案する。 提案手法の有効性を示すために,画像,表データ,音声,グラフなどの様々な領域で実験を行った。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットのミックスアップを改良し,ImageNet Top-1の精度が0.8%向上したことを示す。

関連論文リスト

• TransformMix: Learning Transformation and Mixing Strategies from Data [20.79680733590554]
  我々は、データからより良い変換と拡張戦略を混合するための自動アプローチであるTransformMixを提案する。 本稿では,トランスフォーメーション学習,分類,オブジェクト検出,知識蒸留設定におけるTransformMixの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-19T04:36:41Z)
• G-Mix: A Generalized Mixup Learning Framework Towards Flat Minima [17.473268736086137]
  我々は、DNNモデルのトレーニングにMixupとSAMの強みを組み合わせた、Generalized-Mixupと呼ばれる新しい学習フレームワークを提案する。 本稿では2つの新しいアルゴリズムを提案する: バイナリG-Mixと分解G-Mixは、各サンプルのシャープネス感度に基づいてトレーニングデータを2つのサブセットに分割する。 理論的説明と実験結果の両方により、提案したBG-MixアルゴリズムとDG-Mixアルゴリズムは、複数のデータセットやモデルにわたるモデルの一般化をさらに強化することが明らかとなった。
  論文  参考訳（メタデータ） (2023-08-07T01:25:10Z)
• The Benefits of Mixup for Feature Learning [117.93273337740442]
  最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
  論文  参考訳（メタデータ） (2023-03-15T08:11:47Z)
• FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
  ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。 一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。 我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。 提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
  論文  参考訳（メタデータ） (2022-11-07T09:38:34Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• OpenMixup: Open Mixup Toolbox and Benchmark for Visual Representation Learning [53.57075147367114]
  視覚表現学習のための最初のミックスアップ拡張とベンチマークであるOpenMixupを紹介する。 私たちは、スクラッチから18の代表的なミックスアップベースラインをトレーニングし、11の画像データセットでそれらを厳格に評価します。 また、人気のあるビジョンバックボーン、最適化戦略、分析ツールキットのコレクションを含むモジュラーバックボーンをオープンソースにしています。
  論文  参考訳（メタデータ） (2022-09-11T12:46:01Z)
• Contrastive-mixup learning for improved speaker verification [17.93491404662201]
  本稿では,話者検証のためのミックスアップによるプロトタイプ損失の新しい定式化を提案する。 Mixupは、ランダムなデータポイントとラベルペアの重み付けを組み合わせた、シンプルだが効率的なデータ拡張技術である。
  論文  参考訳（メタデータ） (2022-02-22T05:09:22Z)
• Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
  バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。 また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。 実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
  論文  参考訳（メタデータ） (2021-02-05T09:12:02Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)
• Puzzle Mix: Exploiting Saliency and Local Statistics for Optimal Mixup [19.680580983094323]
  Puzzle Mixは、サリエンシ情報と自然事例の基盤となる統計を明示的に活用するための混合手法である。 実験の結果,Puzzle Mixはアートの一般化と対向ロバスト性を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-09-15T10:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。