論文の概要: Learning Soft Labels via Meta Learning

• arxiv url: http://arxiv.org/abs/2009.09496v1
• Date: Sun, 20 Sep 2020 18:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 12:25:10.666353
• Title: Learning Soft Labels via Meta Learning
• Title（参考訳）: メタラーニングによるソフトラベルの学習
• Authors: Nidhi Vyas, Shreyas Saxena, Thomas Voice
• Abstract要約: シングルホットラベルは概念間のソフトな決定境界を表現していないため、トレーニングされたモデルは過度に適合する傾向にある。 そこで我々は,ラベルを学習可能なパラメータとして扱い,モデルパラメータとともに最適化するフレームワークを提案する。 本研究では, 学習ラベルがクラス間の意味的関係を捉え, 蒸留の下流作業における教師モデルを改善することを示す。
• 参考スコア（独自算出の注目度）: 3.4852307714135375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-hot labels do not represent soft decision boundaries among concepts, and hence, models trained on them are prone to overfitting. Using soft labels as targets provide regularization, but different soft labels might be optimal at different stages of optimization. Also, training with fixed labels in the presence of noisy annotations leads to worse generalization. To address these limitations, we propose a framework, where we treat the labels as learnable parameters, and optimize them along with model parameters. The learned labels continuously adapt themselves to the model's state, thereby providing dynamic regularization. When applied to the task of supervised image-classification, our method leads to consistent gains across different datasets and architectures. For instance, dynamically learned labels improve ResNet18 by 2.1% on CIFAR100. When applied to dataset containing noisy labels, the learned labels correct the annotation mistakes, and improves over state-of-the-art by a significant margin. Finally, we show that learned labels capture semantic relationship between classes, and thereby improve teacher models for the downstream task of distillation.
• Abstract（参考訳）: シングルホットラベルは概念間のソフトな決定境界を表現していないため、トレーニングされたモデルは過度に適合する傾向にある。 ターゲットとしてソフトラベルを使用することは正規化をもたらすが、異なるソフトラベルは最適化の異なる段階で最適である。 また、ノイズの多いアノテーションの存在下で固定ラベルによるトレーニングは、一般化を悪化させる。 これらの制約に対処するために,ラベルを学習可能なパラメータとして扱い,モデルパラメータとともに最適化するフレームワークを提案する。 学習したラベルはモデルの状態に継続的に適応し、ダイナミックな正規化を提供する。 教師付き画像分類のタスクに適用すると、異なるデータセットやアーキテクチャ間で一貫した利得が得られる。 例えば、動的に学習されたラベルは、CIFAR100上でResNet18を2.1%改善する。 ノイズラベルを含むデータセットに適用すると、学習されたラベルはアノテーションミスを訂正し、最先端よりもかなりのマージンで改善する。 最後に,学習ラベルがクラス間の意味的関係を捉え,蒸留の下流課題に対する教師モデルを改善することを示す。

関連論文リスト

• Posterior Label Smoothing for Node Classification [2.737276507021477]
  本稿では,トランスダクティブノード分類タスクに対して,単純かつ効果的なラベル平滑化を提案する。 本研究では, ソフトラベルを設計し, 周辺ラベル分布を通じて対象ノードの局所的コンテキストをカプセル化する。 以下の分析結果から,大域的なラベル統計を後続計算に組み込むことが,ラベル平滑化の成功の鍵であることが判明した。
  論文  参考訳（メタデータ） (2024-06-01T11:59:49Z)
• Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations [91.67511167969934]
  imprecise label learning (ILL)は、様々な不正確なラベル構成で学習を統合するためのフレームワークである。 我々は、ILLが部分ラベル学習、半教師付き学習、雑音ラベル学習にシームレスに適応できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T04:50:28Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• All Labels Are Not Created Equal: Enhancing Semi-supervision via Label Grouping and Co-training [32.45488147013166]
  Pseudo-labelingは、半教師付き学習(SSL)の鍵となるコンポーネントである 本論文では,ラベルセマンティクスとコトレーニングを活用した問題解決手法であるSemCoを提案する。 提案手法は,1000個のラベル付きサンプルを持つミニイメージネットデータセットにおける5.6%の精度向上を含む,様々なsslタスクにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-04-12T07:33:16Z)
• Noisy Labels Can Induce Good Representations [53.47668632785373]
  アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
  論文  参考訳（メタデータ） (2020-12-23T18:58:05Z)
• A Study on the Autoregressive and non-Autoregressive Multi-label Learning [77.11075863067131]
  本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
  論文  参考訳（メタデータ） (2020-12-03T05:41:44Z)
• Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
  最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略はこの問題を軽減するために一般的に用いられる。 メタ学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-03T03:25:17Z)
• Meta Soft Label Generation for Noisy Labels [0.0]
  我々はMSLGと呼ばれるメタソフトラベル生成アルゴリズムを提案する。 MSLGはメタラーニング技術を用いてソフトラベルを共同で生成できる。 我々の手法は、他の最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2020-07-11T19:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。