論文の概要: For Better or For Worse? Learning Minimum Variance Features With Label Augmentation

• arxiv url: http://arxiv.org/abs/2402.06855v1
• Date: Sat, 10 Feb 2024 01:36:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 18:55:40.028255
• Title: For Better or For Worse? Learning Minimum Variance Features With Label Augmentation
• Title（参考訳）: 良いか悪いか? ラベル拡張による最小分散特徴の学習
• Authors: Muthu Chidambaram and Rong Ge
• Abstract要約: 我々は,データ拡張手法のラベル拡張面で果たす役割を解析する。 ラベル拡張で訓練された線形分離可能なデータ上の線形モデルは、データ内の最小分散特性のみを学習することを証明する。 ラベルの平滑化とミックスアップは,標準トレーニングと比較してトレーニングデータの逆摂動に対してより堅牢である。
• 参考スコア（独自算出の注目度）: 8.486166869140929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data augmentation has been pivotal in successfully training deep learning models on classification tasks over the past decade. An important subclass of data augmentation techniques - which includes both label smoothing and Mixup - involves modifying not only the input data but also the input label during model training. In this work, we analyze the role played by the label augmentation aspect of such methods. We prove that linear models on linearly separable data trained with label augmentation learn only the minimum variance features in the data, while standard training (which includes weight decay) can learn higher variance features. An important consequence of our results is negative: label smoothing and Mixup can be less robust to adversarial perturbations of the training data when compared to standard training. We verify that our theory reflects practice via a range of experiments on synthetic data and image classification benchmarks.
• Abstract（参考訳）: データの強化は、過去10年間に分類タスクのディープラーニングモデルをトレーニングする上で重要な役割を担ってきた。 データ拡張テクニックの重要なサブクラス - モデルのトレーニング中に、入力データだけでなく入力ラベルも変更可能な、ラベルの平滑化とmixupinvolvesを含む。 本研究では,このような手法のラベル強化の側面が果たす役割を分析する。 ラベル拡張で訓練された線形分離可能データの線形モデルは、データ内の最小分散特性のみを学習し、標準トレーニング(重量減衰を含む)はより高分散特性を学習できることを証明する。 ラベルの平滑化とミックスアップは、標準のトレーニングと比べて、トレーニングデータの敵対的摂動に対する堅牢性が低くなります。 本理論は,合成データと画像分類ベンチマークに関する様々な実験を通して,実践を反映していることを確認する。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Bridging the Gap: Learning Pace Synchronization for Open-World Semi-Supervised Learning [44.91863420044712]
  オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。 本稿では,(1)モデル偏差を軽減するためにクラス固有の負のマージンを課するアダプティブ・コミュニケート・ラミナル・ロス,(2)モデルによって予測される擬似ラベルを利用した擬似ラベル・コントラッシブ・クラスタリングについて紹介する。 本手法は,授業の学習速度のバランスを保ち,画像Netデータセットの平均精度を3%向上させる。
  論文  参考訳（メタデータ） (2023-09-21T09:44:39Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning [2.1345682889327837]
  データ拡張のための既存のテクニックは、主に分類タスクに焦点を当てており、回帰タスクに簡単には適用できない。 その結果,大容量データとラベル距離の混合がモデル性能に悪影響を及ぼす可能性が示唆された。 そこで本研究では,データ拡張メタ学習フレームワークであるMixRLを提案する。
  論文  参考訳（メタデータ） (2021-06-07T07:01:39Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。