論文の概要: Infinite Class Mixup

• arxiv url: http://arxiv.org/abs/2305.10293v2
• Date: Wed, 6 Sep 2023 14:21:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 18:56:32.376912
• Title: Infinite Class Mixup
• Title（参考訳）: 無限クラスミックスアップ
• Authors: Thomas Mensink, Pascal Mettes
• Abstract要約: Mixupは、トレーニングペアのインプットとラベルを補間することで、追加のサンプルが拡張されるディープネットワークのトレーニング戦略である。 本論文は,各混合ペアのラベルを混合する代わりに,分類器を直接混合することにより,この問題に対処することを目的とする。 Infinite Class Mixupは標準のMixupやRegMixupやRemixなど、バランスの取れた、長い尾のついた、データに制約のあるベンチマークにおいて、パフォーマンスが向上することを示す。
• 参考スコア（独自算出の注目度）: 26.48101652432502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixup is a widely adopted strategy for training deep networks, where additional samples are augmented by interpolating inputs and labels of training pairs. Mixup has shown to improve classification performance, network calibration, and out-of-distribution generalisation. While effective, a cornerstone of Mixup, namely that networks learn linear behaviour patterns between classes, is only indirectly enforced since the output interpolation is performed at the probability level. This paper seeks to address this limitation by mixing the classifiers directly instead of mixing the labels for each mixed pair. We propose to define the target of each augmented sample as a uniquely new classifier, whose parameters are a linear interpolation of the classifier vectors of the input pair. The space of all possible classifiers is continuous and spans all interpolations between classifier pairs. To make optimisation tractable, we propose a dual-contrastive Infinite Class Mixup loss, where we contrast the classifier of a mixed pair to both the classifiers and the predicted outputs of other mixed pairs in a batch. Infinite Class Mixup is generic in nature and applies to many variants of Mixup. Empirically, we show that it outperforms standard Mixup and variants such as RegMixup and Remix on balanced, long-tailed, and data-constrained benchmarks, highlighting its broad applicability.
• Abstract（参考訳）: mixupはディープネットワークのトレーニングに広く採用されている戦略であり、入力とトレーニングペアのラベルを補間することで追加のサンプルを追加する。 mixupは分類性能、ネットワークキャリブレーション、分散一般化を改善している。 効果的ではあるが、ネットワークがクラス間の線形動作パターンを学習するミックスアップの基盤は、出力補間が確率レベルで行われるため、間接的にのみ強制される。 本稿では,各混合ペアのラベルを混合するのではなく,分類器を直接混合することで,この制限に対処する。 本稿では,各拡張サンプルのターゲットを,入力ペアの分類器ベクトルの線形補間をパラメータとする,一意に新しい分類器として定義する。 すべての可能な分類器の空間は連続であり、分類器対の間のすべての補間にまたがる。 そこで我々は、混合対の分類器と、他の混合対の予測出力の両方をバッチで比較する、二重競合無限クラス混合損失を提案する。 Infinite Class Mixupは本質的に汎用的で、Mixupの多くの変種に適用できる。 実験的な結果から,RegMixupやRemixなどの標準ミックスアップや,バランスの取れた,長い尾の長い,データ制約のあるベンチマークにおいて,その適用性を強調した。

関連論文リスト

• Mixup Augmentation with Multiple Interpolations [26.46413903248954]
  サンプルペアから複数の勾配を生成するマルチミックス(multi-mix)という単純な拡張を提案する。 生成されたサンプルの順序を順序付けすることで、マルチミックスは、標準的なミックスアップよりもトレーニングプロセスのガイドに役立てることができる。
  論文  参考訳（メタデータ） (2024-06-03T15:16:09Z)
• Adversarial AutoMixup [50.1874436169571]
  本稿では,AdAutomixupを提案する。 画像分類のための堅牢な分類器を訓練するために、挑戦的なサンプルを生成する。 本手法は, 様々な分類シナリオにおいて, 技術状況に優れる。
  論文  参考訳（メタデータ） (2023-12-19T08:55:00Z)
• Semantic Equivariant Mixup [54.734054770032934]
  Mixupは、トレーニング分布を拡張し、ニューラルネットワークを正規化する、確立されたデータ拡張テクニックである。 以前のミックスアップの変種はラベル関連の情報に過度に焦点をあてる傾向がある。 入力中のよりリッチな意味情報を保存するための意味的同変混合(sem)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T03:05:53Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Selective Mixup Helps with Distribution Shifts, But Not (Only) because of Mixup [26.105340203096596]
  本研究では,ペアの非ランダム選択がトレーニング分布に影響を及ぼし,混合とは無関係な手段による一般化が向上することを示す。 選択混合法と再サンプリング法という2つの手法の間に新しい等価性を見出した。
  論文  参考訳（メタデータ） (2023-05-26T10:56:22Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• AutoMix: Unveiling the Power of Mixup [34.623943038648164]
  サンプル混合ポリシーを適応的に学習するために、識別機能を利用する柔軟性のある一般的な自動混合フレームワークを紹介します。 mixup をプリテキストタスクとして捉え,ミックスサンプル生成とミックスアップ分類という2つのサブプロブレムに分割した。 6つの人気のある分類ベンチマークの実験は、AutoMixが他の主要なミックスアップメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2021-03-24T07:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。