論文の概要: Midpoint Regularization: from High Uncertainty Training to Conservative Classification

• arxiv url: http://arxiv.org/abs/2106.13913v1
• Date: Sat, 26 Jun 2021 00:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 14:06:56.535662
• Title: Midpoint Regularization: from High Uncertainty Training to Conservative Classification
• Title（参考訳）: 中点正規化:高度不確実性訓練から保守的分類へ
• Authors: Hongyu Guo
• Abstract要約: Label Smoothing (LS)は、過信出力分布の生成からモデルをペナライズすることでモデル一般化を改善する。 PLSはまず、ランダムなサンプルペアを平均化して中点サンプルを作成し、その後、各中点サンプルのトレーニング中に滑らかな分布を学習し、その結果、トレーニングのための高い不確実性ラベルを持つ中点を学習する。
• 参考スコア（独自算出の注目度）: 19.252319300590653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label Smoothing (LS) improves model generalization through penalizing models from generating overconfident output distributions. For each training sample the LS strategy smooths the one-hot encoded training signal by distributing its distribution mass over the non-ground truth classes. We extend this technique by considering example pairs, coined PLS. PLS first creates midpoint samples by averaging random sample pairs and then learns a smoothing distribution during training for each of these midpoint samples, resulting in midpoints with high uncertainty labels for training. We empirically show that PLS significantly outperforms LS, achieving up to 30% of relative classification error reduction. We also visualize that PLS produces very low winning softmax scores for both in and out of distribution samples.
• Abstract（参考訳）: Label Smoothing (LS)は、過信出力分布の生成からモデルをペナライズすることでモデル一般化を改善する。 各トレーニングサンプルについて、LS戦略は、非基底真理クラスに分布質量を分散することにより、1ホット符号化されたトレーニング信号を円滑にする。 この手法を例のペアであるplsを用いて拡張する。 plsはまず、ランダムなサンプルペアを平均して中点サンプルを作成し、その後、これらの中点サンプルのトレーニング中に平滑化分布を学習し、トレーニングのための不確実性ラベルの高い中点を生成する。 PLSはLSを有意に上回り,相対的分類誤差の最大30%を達成している。 また,plsは分布サンプルと分布サンプルの両方において,非常に低得点のソフトマックススコアを生成することを可視化した。

関連論文リスト

• Distribution-Aware Robust Learning from Long-Tailed Data with Noisy Labels [8.14255560923536]
  実世界のデータは、しばしば長い尾の分布とラベルノイズを示し、一般化性能を著しく低下させる。 近年の研究では,各クラス内の高信頼度サンプルに基づいて,各クラスのセントロイドを推定するノイズの多いサンプル選択手法に焦点が当てられている。 そこで我々は,分散型サンプル選択・コントラスト学習(DaSC)を提案し,拡張型セントロイドを生成する。
  論文  参考訳（メタデータ） (2024-07-23T19:06:15Z)
• Distributional Preference Alignment of LLMs via Optimal Transport [36.95053112313244]
  最適輸送(AOT)によるアライメント(Alignment)と呼ばれるLLMの分布選好アライメント手法を提案する。 AOTは、正のサンプルの報酬分布を負のサンプルの分布の第1次において支配的に支配することにより、LLMを未ペアの選好データに整合させる。 AOTは,Open LLM BenchmarksとAlpacaEvalで評価すると,7Bモデルの最先端モデルにつながることを示す。
  論文  参考訳（メタデータ） (2024-06-09T18:41:05Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
  textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。 トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。 非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
  論文  参考訳（メタデータ） (2023-12-27T15:06:36Z)
• Learning in Imperfect Environment: Multi-Label Classification with Long-Tailed Distribution and Partial Labels [53.68653940062605]
  新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。 その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。 textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
  論文  参考訳（メタデータ） (2023-04-20T20:05:08Z)
• InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning [34.062061310242385]
  不均衡半教師付き学習(SSL)のための疑似ラベルの新しい視点を提案する。 未表示のサンプルが「流通中」か「流通外」かを測定する。 実験により、我々のエネルギーベース擬似ラベル法である textbfInPL が、不均衡なSSLベンチマークにおいて信頼性ベースの手法よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-13T16:45:41Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Two-stage Training for Learning from Label Proportions [18.78148397471913]
  ラベルパーセンテージ(LLP)からの学習は、グループ化されたトレーニングデータにおいてラベルパーセンテージを持つインスタンスレベルの分類器を学習することを目的としている。 ラベルノイズをさらに低減するために,混合戦略と対称クロスエントロピーを導入する。 我々のフレームワークはモデルに依存しず、広範な実験において魅力的なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2021-05-22T03:55:35Z)
• Regularization via Adaptive Pairwise Label Smoothing [19.252319300590653]
  本稿では Pairwise Label Smoothing (PLS) と呼ばれる新しいラベル平滑化手法を提案する。 クロスバリデーションサーチによって大域的に滑らかな分布質量を求める現在のLS法とは異なり、PSSはトレーニング中に各入力ペアの分布質量を自動的に学習する。 PLSはLSおよびベースラインモデルよりも有意に優れており,相対的分類誤差の最大30%を達成している。
  論文  参考訳（メタデータ） (2020-12-02T22:08:10Z)
• Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning [126.31716228319902]
  Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。 DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。