論文の概要: batchboost: regularization for stabilizing training with resistance to underfitting & overfitting

• arxiv url: http://arxiv.org/abs/2001.07627v1
• Date: Tue, 21 Jan 2020 16:07:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 23:27:32.884720
• Title: batchboost: regularization for stabilizing training with resistance to underfitting & overfitting
• Title（参考訳）: batchboost:アンダーフィッティングとオーバーフィッティングへの抵抗によるトレーニングの安定化のための正規化
• Authors: Maciej A. Czyzewski
• Abstract要約: Batchboostパイプラインには、ペアリング、ミキシング、摂食という3つのステージがある。 Batchboostは、CIFAR-10とFashion-MNISTデータセットの現在の最先端の混合正規化よりも0.5-3%精度が高い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overfitting & underfitting and stable training are an important challenges in machine learning. Current approaches for these issues are mixup, SamplePairing and BC learning. In our work, we state the hypothesis that mixing many images together can be more effective than just two. Batchboost pipeline has three stages: (a) pairing: method of selecting two samples. (b) mixing: how to create a new one from two samples. (c) feeding: combining mixed samples with new ones from dataset into batch (with ratio $\gamma$). Note that sample that appears in our batch propagates with subsequent iterations with less and less importance until the end of training. Pairing stage calculates the error per sample, sorts the samples and pairs with strategy: hardest with easiest one, than mixing stage merges two samples using mixup, $x_1 + (1-\lambda)x_2$. Finally, feeding stage combines new samples with mixed by ratio 1:1. Batchboost has 0.5-3% better accuracy than the current state-of-the-art mixup regularization on CIFAR-10 & Fashion-MNIST. Our method is slightly better than SamplePairing technique on small datasets (up to 5%). Batchboost provides stable training on not tuned parameters (like weight decay), thus its a good method to test performance of different architectures. Source code is at: https://github.com/maciejczyzewski/batchboost
• Abstract（参考訳）: オーバーフィッティングとアンダーフィッティングと安定したトレーニングは、機械学習において重要な課題である。 これらの問題の現在のアプローチは、mixup、SamplePairing、BC学習である。 我々の研究では、多くの画像を混ぜ合わせることは2つ以上の効果があるという仮説を述べている。 Batchboostパイプラインには3つのステージがある。 (a)ペアリング:2つのサンプルを選択する方法。 (b)ミキシング:2つのサンプルから新しいミキシングを作成する方法。 (c) 摂食: 混合サンプルとデータセットからの新しいサンプルをバッチ(比$\gamma$)に組み合わせる。 私たちのバッチに現れるサンプルは、トレーニングの終了まで重要度が減り、その後のイテレーションで伝播します。 ペアリングステージはサンプルあたりのエラーを計算し、サンプルとペアを戦略でソートする:最も簡単なものは、x_1 + (1-\lambda)x_2$という2つのサンプルを混合するよりも難しい。 最後に、給餌段階は、新しいサンプルと比1:1の混合を組み合わせる。 Batchboostは、CIFAR-10とFashion-MNISTの最先端の混合正規化よりも0.5-3%精度が高い。 我々の手法は、小さなデータセット(最大5%)のSamplePairing手法よりも若干優れている。 Batchboostは、調整されていないパラメータ(重み付け減衰など)の安定したトレーニングを提供するため、異なるアーキテクチャのパフォーマンスをテストするのによい方法である。 ソースコード: https://github.com/maciejczyzewski/batchboost

関連論文リスト

• SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
  混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。 そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
  論文  参考訳（メタデータ） (2024-07-10T16:25:26Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• SequenceMatch: Revisiting the design of weak-strong augmentations for Semi-supervised learning [0.0]
  半教師付き学習(SSL)は、大量のラベルのないデータを使ってモデルのトレーニングを可能にするため、近年人気が高まっている。 多くのSSLメソッドが直面する問題のひとつは、モデルが小さなラベル付きトレーニングデータセットに過度に適合した場合に発生する、確認バイアスである。 本稿では,複数のデータ拡張を利用する効率的なSSL手法であるSequenceMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-24T12:34:58Z)
• BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs [37.378865860897285]
  In-Batchコントラスト学習(In-Batch contrastive learning)は、意味的に類似したインスタンスを近接させる最先端の自己教師方式である。 最近の研究は、現在のミニバッチにおいて、硬い負のテキストをサンプリングすることで、性能を向上させることを目的としている。 我々は、BatchSamplerを、識別し難いインスタンス(すなわち、互いに強陰性および真陰性)のミニバッチのサンプルとして提示する。
  論文  参考訳（メタデータ） (2023-06-06T02:13:27Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
  本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。 具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
  論文  参考訳（メタデータ） (2022-08-21T07:47:05Z)
• A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
  MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。 トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。 提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-06T17:59:19Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。