論文の概要: LUMix: Improving Mixup by Better Modelling Label Uncertainty

• arxiv url: http://arxiv.org/abs/2211.15846v1
• Date: Tue, 29 Nov 2022 00:47:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 15:19:28.190814
• Title: LUMix: Improving Mixup by Better Modelling Label Uncertainty
• Title（参考訳）: lumix: モデリングラベルの不確実性向上によるミックスアップの改善
• Authors: Shuyang Sun, Jie-Neng Chen, Ruifei He, Alan Yuille, Philip Torr, Song Bai
• Abstract要約: ディープ・ネットワークはノイズの多いサンプルと正規化技術で訓練するとより一般化できる。 以前のMixupベースの手法は、画像とラベルを線形に組み合わせ、追加のトレーニングデータを生成する。 トレーニング中にラベルの摂動を追加することで、そのような不確実性をモデル化するLUMixを提案する。
• 参考スコア（独自算出の注目度）: 33.56660038646426
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern deep networks can be better generalized when trained with noisy samples and regularization techniques. Mixup and CutMix have been proven to be effective for data augmentation to help avoid overfitting. Previous Mixup-based methods linearly combine images and labels to generate additional training data. However, this is problematic if the object does not occupy the whole image as we demonstrate in Figure 1. Correctly assigning the label weights is hard even for human beings and there is no clear criterion to measure it. To tackle this problem, in this paper, we propose LUMix, which models such uncertainty by adding label perturbation during training. LUMix is simple as it can be implemented in just a few lines of code and can be universally applied to any deep networks \eg CNNs and Vision Transformers, with minimal computational cost. Extensive experiments show that our LUMix can consistently boost the performance for networks with a wide range of diversity and capacity on ImageNet, \eg $+0.7\%$ for a small model DeiT-S and $+0.6\%$ for a large variant XCiT-L. We also demonstrate that LUMix can lead to better robustness when evaluated on ImageNet-O and ImageNet-A. The source code can be found \href{https://github.com/kevin-ssy/LUMix}{here}
• Abstract（参考訳）: 最新のディープネットワークは、ノイズの多いサンプルと正規化技術で訓練するとより一般化できる。 MixupとCutMixは、オーバーフィッティングを避けるためにデータ拡張に有効であることが証明されている。 以前のmixupベースの手法では、画像とラベルを線形に組み合わせてトレーニングデータを生成する。 しかし、図1で示すように、オブジェクトが全体像を占有しない場合、これは問題となる。 ラベルの重みを正しく割り当てるのは人間にとっても困難であり、測定する明確な基準はない。 本稿では,学習中にラベルの摂動を追加することによって,そのような不確実性をモデル化するLUMixを提案する。 lumixは、ほんの数行のコードで実装でき、計算コストを最小限に抑えて、cnnやvision transformersといったディープネットワークに普遍的に適用できるため、シンプルである。 広範な実験によって、我々のlumixは、imagenet上で幅広い多様性とキャパシティを持つネットワークのパフォーマンスを一貫して向上させ、小さなモデルdeit-sでは$+0.7\%$、大きなxcit-lでは$+0.6\%$という結果が得られた。 また, ImageNet-O と ImageNet-A で評価すると,LUMix がより堅牢性を示すことを示す。 ソースコードは \href{https://github.com/kevin-ssy/LUMix}{here} にある。

関連論文リスト

• SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
  混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。 そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
  論文  参考訳（メタデータ） (2024-07-10T16:25:26Z)
• SMMix: Self-Motivated Image Mixing for Vision Transformers [65.809376136455]
  CutMixは視覚変換器(ViT)の性能と一般化能力を決定する重要な拡張戦略である 既存のCutMixの変種は、より一貫性のある混合画像やより正確な混合ラベルを生成することでこの問題に対処している。 本稿では,学習モデルによる画像とラベルの強調を動機づける,効率的かつ効果的な自己運動画像混合法を提案する。
  論文  参考訳（メタデータ） (2022-12-26T00:19:39Z)
• RecursiveMix: Mixed Learning with History [21.865332756486314]
  RM(RecursiveMix)は、歴史的入力-予測-ラベル三重項を利用した混合サンプル学習パラダイムである。 ResNet-50に基づいて、RMはCIFAR100で$sim$3.2%、ImageNetで$sim$2.8%の分類精度を無視できない余分な計算/保存コストで改善した。
  論文  参考訳（メタデータ） (2022-03-14T03:59:47Z)
• Enhanced Performance of Pre-Trained Networks by Matched Augmentation Distributions [10.74023489125222]
  列車-テストの分散シフトに対処するための簡単な解を提案する。 テスト画像に対して、複数のランダムな作物に対して結果を合成する。 これは列車の時間拡張と一致するだけでなく、入力画像の完全なカバレッジも提供する。
  論文  参考訳（メタデータ） (2022-01-19T22:33:00Z)
• ReMix: Towards Image-to-Image Translation with Limited Data [154.71724970593036]
  本稿では,この問題に対処するためのデータ拡張手法(ReMix)を提案する。 特徴レベルでのトレーニングサンプルを補間し、サンプル間の知覚的関係に基づく新しいコンテンツ損失を提案します。 提案手法は, 生成のあいまいさを効果的に低減し, コンテンツ保存結果を生成する。
  論文  参考訳（メタデータ） (2021-03-31T06:24:10Z)
• MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks [97.08677678499075]
  マルチインプットマルチアウトプットディープワークを学ぶための新しいフレームワークであるMixMoを紹介します。 機能、特にCutMixのパッチによるバイナリの混合は、ワークをより強く、より多様なものにすることによって、結果を向上します。 実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-10T15:31:02Z)
• SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data [124.95585891086894]
  提案はSemantically Proportional Mixing(SnapMix)と呼ばれる クラスアクティベーションマップ(CAM)を利用して、きめ細かいデータを強化する際にラベルノイズを低減します。 本手法は既存の混合型アプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-12-09T03:37:30Z)
• Puzzle Mix: Exploiting Saliency and Local Statistics for Optimal Mixup [19.680580983094323]
  Puzzle Mixは、サリエンシ情報と自然事例の基盤となる統計を明示的に活用するための混合手法である。 実験の結果,Puzzle Mixはアートの一般化と対向ロバスト性を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-09-15T10:10:23Z)
• Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning [108.999497144296]
  近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。 この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。 その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
  論文  参考訳（メタデータ） (2020-03-11T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。