論文の概要: Multi-Sample $\zeta$-mixup: Richer, More Realistic Synthetic Samples
from a $p$-Series Interpolant
- arxiv url: http://arxiv.org/abs/2204.03323v1
- Date: Thu, 7 Apr 2022 09:41:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 14:11:23.850714
- Title: Multi-Sample $\zeta$-mixup: Richer, More Realistic Synthetic Samples
from a $p$-Series Interpolant
- Title（参考訳）: Multi-Sample $\zeta$-mixup:$p$-Series Interpolantのよりリッチでよりリアルな合成サンプル
- Authors: Kumar Abhishek, Colin J. Brown, Ghassan Hamarneh
- Abstract要約: 証明可能かつ明白に望ましい性質を持つ混合の一般化である$zeta$-mixupを提案する。
我々は,$zeta$-mixupの実装がミックスアップよりも高速であることを示し,制御された合成および24の実世界の自然・医療画像分類データセットにおいて,$zeta$-mixupがミックスアップおよび従来のデータ拡張技術より優れていることを示す。
- 参考スコア（独自算出の注目度）: 16.65329510916639
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep learning training procedures rely on model regularization
techniques such as data augmentation methods, which generate training samples
that increase the diversity of data and richness of label information. A
popular recent method, mixup, uses convex combinations of pairs of original
samples to generate new samples. However, as we show in our experiments, mixup
can produce undesirable synthetic samples, where the data is sampled off the
manifold and can contain incorrect labels. We propose $\zeta$-mixup, a
generalization of mixup with provably and demonstrably desirable properties
that allows convex combinations of $N \geq 2$ samples, leading to more
realistic and diverse outputs that incorporate information from $N$ original
samples by using a $p$-series interpolant. We show that, compared to mixup,
$\zeta$-mixup better preserves the intrinsic dimensionality of the original
datasets, which is a desirable property for training generalizable models.
Furthermore, we show that our implementation of $\zeta$-mixup is faster than
mixup, and extensive evaluation on controlled synthetic and 24 real-world
natural and medical image classification datasets shows that $\zeta$-mixup
outperforms mixup and traditional data augmentation techniques.
- Abstract（参考訳）: 現代のディープラーニングトレーニング手順は、データの多様性とラベル情報の豊かさを高めるトレーニングサンプルを生成するデータ拡張法などのモデル正規化技術に依存している。
最近の一般的な手法であるmixupは、元のサンプルのペアの凸結合を使って新しいサンプルを生成する。
しかしながら、実験で示すように、mixupは望ましくない合成サンプルを生成し、データは多様体からサンプリングされ、誤ったラベルを含むことができる。
我々は、$N \geq 2$サンプルの凸結合を許容し、$N$サンプルからの情報を含むより現実的で多様な出力を$p$-seriesインターポータを用いて、証明可能かつ明らかに望ましい性質の混合を一般化する$\zeta$-mixupを提案する。
ミックスアップと比較して、$\zeta$-mixupは、一般化可能なモデルのトレーニングに望ましい性質である原データセットの本質的な次元をよりよく保存することを示す。
さらに,我々は$\zeta$-mixupの実装がmixupよりも高速であることを示し,制御された合成および24実世界の自然および医用画像分類データセットの広範な評価により,$\zeta$-mixupがmixupおよび従来のデータ拡張技術よりも優れていることを示した。
関連論文リスト
- Mixup Augmentation with Multiple Interpolations [26.46413903248954]
サンプルペアから複数の勾配を生成するマルチミックス(multi-mix)という単純な拡張を提案する。
生成されたサンプルの順序を順序付けすることで、マルチミックスは、標準的なミックスアップよりもトレーニングプロセスのガイドに役立てることができる。
論文 参考訳（メタデータ） (2024-06-03T15:16:09Z) - EM for Mixture of Linear Regression with Clustered Data [6.948976192408852]
分散データにおけるクラスタ構造をどのように活用して学習手法を改善するかについて議論する。
我々は、既知の期待値最大化(EM)法を用いて、依存サンプルの$m$バッチから最大値パラメータを推定する。
構造化データ上のEMが適切であれば、$m$が$eo(n)$になる限り、同じ統計的精度に達するのに$O(1)$しか必要としないことを示す。
論文 参考訳（メタデータ） (2023-08-22T15:47:58Z) - Weighted Sparse Partial Least Squares for Joint Sample and Feature
Selection [7.219077740523681]
本稿では, 共同サンプルと特徴選択のために, $ell_infty/ell_0$-norm制約付きスパースPSS(ell_infty/ell_$-wsPLS)法を提案する。
我々は,各マルチビューwsPLSモデルに対して効率的な反復アルゴリズムを開発し,その収束性を示す。
論文 参考訳（メタデータ） (2023-08-13T10:09:25Z) - On-Demand Sampling: Learning Optimally from Multiple Distributions [63.20009081099896]
社会と現実世界の考察は、マルチディストリビューション学習パラダイムの台頭につながっている。
これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。
アルゴリズムの設計と解析は,ゼロサムゲーム解決のためのオンライン学習手法の拡張によって実現されている。
論文 参考訳（メタデータ） (2022-10-22T19:07:26Z) - DoubleMix: Simple Interpolation-Based Data Augmentation for Text
Classification [56.817386699291305]
本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。
DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。
次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
論文 参考訳（メタデータ） (2022-09-12T15:01:04Z) - OpenMixup: A Comprehensive Mixup Benchmark for Visual Classification [58.680100108871436]
教師付き視覚分類のための総合的な混合ベンチマークであるOpenMixupを紹介する。
OpenMixupは、ミックスアップベースのモデル設計とトレーニングのフレームワークを提供し、幅広いデータミキシングアルゴリズム、広範囲に使用されているバックボーンとモジュール、モデル解析ツールキットのセットを含んでいる。
論文 参考訳（メタデータ） (2022-09-11T12:46:01Z) - Global Mixup: Eliminating Ambiguity with Clustering [18.876583942942144]
我々はtextbfGlobal Mixup というグローバルクラスタリング関係に基づく新しい拡張手法を提案する。
実験によると、Global Mixupはこれまでの最先端のベースラインを大きく上回っている。
論文 参考訳（メタデータ） (2022-06-06T16:42:22Z) - A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。
トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。
提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
論文 参考訳（メタデータ） (2022-05-06T17:59:19Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳（メタデータ） (2022-03-21T07:12:18Z) - Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated
Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。
両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文 参考訳（メタデータ） (2021-12-16T11:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。