論文の概要: Harnessing Hard Mixed Samples with Decoupled Regularizer

• arxiv url: http://arxiv.org/abs/2203.10761v3
• Date: Mon, 23 Oct 2023 16:56:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 04:03:12.499361
• Title: Harnessing Hard Mixed Samples with Decoupled Regularizer
• Title（参考訳）: 分離正規化器による硬質混合試料のハーネス化
• Authors: Zicheng Liu, Siyuan Li, Ge Wang, Cheng Tan, Lirong Wu, Stan Z. Li
• Abstract要約: Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
• 参考スコア（独自算出の注目度）: 69.98746081734441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixup is an efficient data augmentation approach that improves the generalization of neural networks by smoothing the decision boundary with mixed data. Recently, dynamic mixup methods have improved previous static policies effectively (e.g., linear interpolation) by maximizing target-related salient regions in mixed samples, but excessive additional time costs are not acceptable. These additional computational overheads mainly come from optimizing the mixed samples according to the mixed labels. However, we found that the extra optimizing step may be redundant because label-mismatched mixed samples are informative hard mixed samples for deep models to localize discriminative features. In this paper, we thus are not trying to propose a more complicated dynamic mixup policy but rather an efficient mixup objective function with a decoupled regularizer named Decoupled Mixup (DM). The primary effect is that DM can adaptively utilize those hard mixed samples to mine discriminative features without losing the original smoothness of mixup. As a result, DM enables static mixup methods to achieve comparable or even exceed the performance of dynamic methods without any extra computation. This also leads to an interesting objective design problem for mixup training that we need to focus on both smoothing the decision boundaries and identifying discriminative features. Extensive experiments on supervised and semi-supervised learning benchmarks across seven datasets validate the effectiveness of DM as a plug-and-play module. Source code and models are available at https://github.com/Westlake-AI/openmixup
• Abstract（参考訳）: Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 近年,動的混合手法は,混合試料中の目標領域を最大化することで,従来の静的ポリシー(線形補間など)を効果的に改善しているが,余分な追加時間コストは許容できない。 これらの計算オーバーヘッドは主に混合ラベルに従って混合サンプルを最適化することに由来する。 しかし,ラベルミスマッチされた混合サンプルは,深層モデルにおいて識別的特徴を局所化するための有意義な混合サンプルであるため,余分な最適化ステップは冗長であることが分かった。 そこで本稿では,より複雑な動的混合政策を提案するのではなく,非結合型正規化器(DM)を用いた効率的な混合目的関数を提案する。 第一の効果は、DMがこれらの硬質混合試料を適応的に利用し、ミキシングの本来の滑らかさを失うことなく識別特性をマイニングできることである。 結果としてdmは、静的なミックスアップメソッドが、余分な計算なしで動的メソッドのパフォーマンスに匹敵する、あるいは超えられるようにする。 これはまた、決定境界のスムーズ化と差別的特徴の識別の両方に焦点を合わせる必要がある、ミックスアップトレーニングのための興味深い客観的設計問題につながります。 7つのデータセットにわたる教師付きおよび半教師付き学習ベンチマークに関する広範な実験は、dmをプラグアンドプレイモジュールとしての有効性を検証する。 ソースコードとモデルはhttps://github.com/Westlake-AI/openmixupで入手できる。

関連論文リスト

• TransformMix: Learning Transformation and Mixing Strategies from Data [20.79680733590554]
  我々は、データからより良い変換と拡張戦略を混合するための自動アプローチであるTransformMixを提案する。 本稿では,トランスフォーメーション学習,分類,オブジェクト検出,知識蒸留設定におけるTransformMixの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-19T04:36:41Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Adversarial AutoMixup [50.1874436169571]
  本稿では,AdAutomixupを提案する。 画像分類のための堅牢な分類器を訓練するために、挑戦的なサンプルを生成する。 本手法は, 様々な分類シナリオにおいて, 技術状況に優れる。
  論文  参考訳（メタデータ） (2023-12-19T08:55:00Z)
• Tailoring Mixup to Data for Calibration [12.050401897136501]
  Mixupはキャリブレーションと予測の不確実性を改善する技術である。 この研究では、データ間の距離が混合されるにつれて、多様体の侵入の可能性が増加することを論じる。 本研究では, 混合する試料間の類似度に応じて, 係数の基底分布を動的に変化させることを提案する。
  論文  参考訳（メタデータ） (2023-11-02T17:48:28Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
  バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。 また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。 実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
  論文  参考訳（メタデータ） (2021-02-05T09:12:02Z)
• Puzzle Mix: Exploiting Saliency and Local Statistics for Optimal Mixup [19.680580983094323]
  Puzzle Mixは、サリエンシ情報と自然事例の基盤となる統計を明示的に活用するための混合手法である。 実験の結果,Puzzle Mixはアートの一般化と対向ロバスト性を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-09-15T10:10:23Z)
• MixMOOD: A systematic approach to class distribution mismatch in semi-supervised learning using deep dataset dissimilarity measures [13.823764245165792]
  MixMOODは、MixMatchを用いた半教師付きディープラーニング(SSDL)におけるクラス分布ミスマッチの効果を緩和するための体系的なアプローチである。 まず,90種類の分散ミスマッチシナリオにおいて,MixMatch精度の感度を解析した。 第2部では,ラベル付きデータセットと非ラベル付きデータセットを比較するために,DeDiM(Deep dataset Dissimilarity measures)と呼ばれる効率的かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-06-14T01:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。