論文の概要: The Benefits of Mixup for Feature Learning

• arxiv url: http://arxiv.org/abs/2303.08433v1
• Date: Wed, 15 Mar 2023 08:11:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:39:13.196454
• Title: The Benefits of Mixup for Feature Learning
• Title（参考訳）: 機能学習におけるmixupの利点
• Authors: Difan Zou, Yuan Cao, Yuanzhi Li, Quanquan Gu
• Abstract要約: 最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
• 参考スコア（独自算出の注目度）: 117.93273337740442
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Mixup, a simple data augmentation method that randomly mixes two data points via linear interpolation, has been extensively applied in various deep learning applications to gain better generalization. However, the theoretical underpinnings of its efficacy are not yet fully understood. In this paper, we aim to seek a fundamental understanding of the benefits of Mixup. We first show that Mixup using different linear interpolation parameters for features and labels can still achieve similar performance to the standard Mixup. This indicates that the intuitive linearity explanation in Zhang et al., (2018) may not fully explain the success of Mixup. Then we perform a theoretical study of Mixup from the feature learning perspective. We consider a feature-noise data model and show that Mixup training can effectively learn the rare features (appearing in a small fraction of data) from its mixture with the common features (appearing in a large fraction of data). In contrast, standard training can only learn the common features but fails to learn the rare features, thus suffering from bad generalization performance. Moreover, our theoretical analysis also shows that the benefits of Mixup for feature learning are mostly gained in the early training phase, based on which we propose to apply early stopping in Mixup. Experimental results verify our theoretical findings and demonstrate the effectiveness of the early-stopped Mixup training.
• Abstract（参考訳）: 線形補間によってランダムに2つのデータポイントを混合する単純なデータ拡張手法であるMixupは、より高度な一般化を得るために様々なディープラーニングアプリケーションに広く応用されている。 しかし、その効果の理論的根拠はまだ完全には分かっていない。 本稿では,Mixupのメリットを根本的に理解することを目的としている。 まず,異なる線形補間パラメータを特徴量やラベルに用いたMixupは,標準Mixupと同様の性能が得られることを示す。 これは Zhang et al., (2018) における直感的線型性の説明が Mixup の成功を完全に説明していないことを示している。 次に,特徴学習の観点から混合に関する理論的研究を行う。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが、一般的な特徴(少数のデータに現れる)と組み合わせることで、稀な特徴(少数のデータに現れる)を効果的に学習できることを示す。 対照的に、標準的なトレーニングは共通の特徴のみを学習するが、まれな特徴を学習できないため、一般化性能が悪くなる。 さらに,本理論解析により,Mixup の早期学習段階において,Mixup の利点が主に得られ,Mixup の早期停止が提案されている。 実験により理論的な結果が検証され, 早期混成訓練の有効性が示された。

関連論文リスト

• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• Selective Mixup Helps with Distribution Shifts, But Not (Only) because of Mixup [26.105340203096596]
  本研究では,ペアの非ランダム選択がトレーニング分布に影響を及ぼし,混合とは無関係な手段による一般化が向上することを示す。 選択混合法と再サンプリング法という2つの手法の間に新しい等価性を見出した。
  論文  参考訳（メタデータ） (2023-05-26T10:56:22Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• Provably Learning Diverse Features in Multi-View Data with Midpoint Mixup [17.4515763678587]
  Mixupは、データポイントとラベルのランダムな凸組み合わせを使用したトレーニングに依存する、データ拡張技術である。 各クラスが複数の関連する特徴(あるいはビュー)を持ち、クラスを正しく予測できるような分類問題に焦点をあてる。 実験的リスク最小化を用いた2層畳み込みネットワークの学習は, クラス毎に2つの特徴を持つ非自明なデータ分布のクラスでは, ほぼすべてのクラスで1つの特徴しか学習できない一方で, Mixup の特定のインスタンス化による学習は各クラスで2つの特徴の学習に成功していることを示す。
  論文  参考訳（メタデータ） (2022-10-24T18:11:37Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• OpenMixup: A Comprehensive Mixup Benchmark for Visual Classification [58.680100108871436]
  教師付き視覚分類のための総合的な混合ベンチマークであるOpenMixupを紹介する。 OpenMixupは、ミックスアップベースのモデル設計とトレーニングのフレームワークを提供し、幅広いデータミキシングアルゴリズム、広範囲に使用されているバックボーンとモジュール、モデル解析ツールキットのセットを含んでいる。
  論文  参考訳（メタデータ） (2022-09-11T12:46:01Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Contrastive-mixup learning for improved speaker verification [17.93491404662201]
  本稿では,話者検証のためのミックスアップによるプロトタイプ損失の新しい定式化を提案する。 Mixupは、ランダムなデータポイントとラベルペアの重み付けを組み合わせた、シンプルだが効率的なデータ拡張技術である。
  論文  参考訳（メタデータ） (2022-02-22T05:09:22Z)
• MixMix: All You Need for Data-Free Compression Are Feature and Data Mixing [30.14401315979937]
  一般化可能性と不正確な逆転の難しさを克服するために、MixMixを提案する。 理論的および経験的両面からMixMixの有効性を実証する。 MixMixは、既存のデータフリー圧縮作業と比較して、量子化とプルーニングで最大4%と20%の精度アップリフトを達成する。
  論文  参考訳（メタデータ） (2020-11-19T15:33:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。