論文の概要: Locally Adaptive Label Smoothing for Predictive Churn

• arxiv url: http://arxiv.org/abs/2102.05140v1
• Date: Tue, 9 Feb 2021 21:38:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 14:49:12.018206
• Title: Locally Adaptive Label Smoothing for Predictive Churn
• Title（参考訳）: 予測チャーンのための局所適応ラベルスムージング
• Authors: Dara Bahri and Heinrich Jiang
• Abstract要約: 現代のニューラルネットワークのトレーニングは、高いエンプレディションチャーンにつながる可能性がある。 チャーンを減らし,各サンプルのラベルを適応的に平滑化することで得られるソフトラベルのトレーニングがチャーンに対するベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 40.17985689233356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training modern neural networks is an inherently noisy process that can lead to high \emph{prediction churn} -- disagreements between re-trainings of the same model due to factors such as randomization in the parameter initialization and mini-batches -- even when the trained models all attain similar accuracies. Such prediction churn can be very undesirable in practice. In this paper, we present several baselines for reducing churn and show that training on soft labels obtained by adaptively smoothing each example's label based on the example's neighboring labels often outperforms the baselines on churn while improving accuracy on a variety of benchmark classification tasks and model architectures.
• Abstract（参考訳）: 現代のニューラルネットワークの訓練は本質的にノイズの多いプロセスであり、パラメータ初期化のランダム化やミニバッチなどの要因により、同じモデルの再トレーニング間の不一致が、訓練されたモデルがすべて同様の精度を達成した場合でも、高い \emph{Prediction churn}につながる可能性がある。 このような予測は実際には非常に望ましくない。 本稿では,各例のラベルを隣接ラベルに基づいて適応的に平滑化することによって得られたソフトラベルのトレーニングが,様々なベンチマーク分類タスクやモデルアーキテクチャの精度を向上させながら,チャーンのベースラインを上回ることが多々あることを示す。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Asymmetric Co-teaching with Multi-view Consensus for Noisy Label Learning [15.690502285538411]
  Asymmetric Co-Teaching (AsyCo) というノイズラベル学習手法を導入する。 AsyCoは、共学モデルのより一貫性のある分岐結果を生成する。 合成および実世界のノイズラベルデータセットの実験は、AsyCoが現在のSOTA法よりも改善していることを示している。
  論文  参考訳（メタデータ） (2023-01-01T04:10:03Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Robust Neural Network Classification via Double Regularization [2.41710192205034]
  本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。 我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
  論文  参考訳（メタデータ） (2021-12-15T13:19:20Z)
• Instance-based Label Smoothing For Better Calibrated Classification Networks [3.388509725285237]
  ラベルの平滑化はディープニューラルネットワークで多クラス分類に広く利用されている。 ラベルのスムース化と自己蒸留の両方からインスピレーションを得ます。 本稿では2つの新しいインスタンスベースのラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:33:23Z)
• Generalization by Recognizing Confusion [3.018691733760647]
  自己適応型トレーニング技術は、トレーニングラベルをオンザフライで調整することで、現代のニューラルネットワークを強化する。 自己適応目標とミキシングアップを組み合わせることで、画像認識のための自己適応モデルの精度をさらに向上する。 これらのアルゴリズムのラデマチャー複雑性は低く、証明可能な一般化への新たな道のりが示唆されている。
  論文  参考訳（メタデータ） (2020-06-13T22:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。