論文の概要: Towards Understanding the Effect of Pretraining Label Granularity
- arxiv url: http://arxiv.org/abs/2303.16887v1
- Date: Wed, 29 Mar 2023 17:56:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 13:35:02.841687
- Title: Towards Understanding the Effect of Pretraining Label Granularity
- Title（参考訳）: ラベル粒度事前学習の効果の解明に向けて
- Authors: Guan Zhe Hong, Yin Cui, Ariel Fuxman, Stanley H. Chan, Enming Luo
- Abstract要約: 我々は,事前学習ラベルが目標問題よりもきめ細かな「微粒な」伝達学習環境に着目する。
ImageNet21kの葉ラベルでの事前学習は、他の粗粒度レベルでの事前学習よりも、ImageNet1kでの転送結果が優れていることを示す。
理論的には、1)粗粒度ラベルで訓練されたモデルは、共通または「学習し易い」特徴にのみ強く反応すること、2)データセットが適切な条件を満たすことにより、きめ細かい事前学習は、モデルにレアまたは「ハード・トゥ・ラーニング」の学習を促すこと、を証明している。
- 参考スコア（独自算出の注目度）: 23.09964457821035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study how pretraining label granularity affects the
generalization of deep neural networks in image classification tasks. We focus
on the "fine-to-coarse" transfer learning setting where the pretraining label
is more fine-grained than that of the target problem. We experiment with this
method using the label hierarchy of iNaturalist 2021, and observe a 8.76%
relative improvement of the error rate over the baseline. We find the following
conditions are key for the improvement: 1) the pretraining dataset has a strong
and meaningful label hierarchy, 2) its label function strongly aligns with that
of the target task, and most importantly, 3) an appropriate level of
pretraining label granularity is chosen. The importance of pretraining label
granularity is further corroborated by our transfer learning experiments on
ImageNet. Most notably, we show that pretraining at the leaf labels of
ImageNet21k produces better transfer results on ImageNet1k than pretraining at
other coarser granularity levels, which supports the common practice.
Theoretically, through an analysis on a two-layer convolutional ReLU network,
we prove that: 1) models trained on coarse-grained labels only respond strongly
to the common or "easy-to-learn" features; 2) with the dataset satisfying the
right conditions, fine-grained pretraining encourages the model to also learn
rarer or "harder-to-learn" features well, thus improving the model's
generalization.
- Abstract（参考訳）: 本稿では,ラベルの粒度の事前学習が,画像分類タスクにおけるディープニューラルネットワークの一般化に与える影響について検討する。
我々は,事前学習ラベルが対象問題よりもきめ細かい「きめ細かい」転向学習設定に注目した。
我々は,iNaturalist 2021のラベル階層を用いて実験を行い,ベースライン上の誤差率の8.76%を相対的に改善した。
改善の鍵となる条件は以下のとおりである。
1)プリトレーニングデータセットは、強力で有意義なラベル階層を有する。
2)そのラベル関数は,目的タスクのラベル関数と強く一致している。
3)事前学習ラベルの粒度の適切なレベルを選択する。
ImageNetの転送学習実験では,ラベルの粒度を事前学習することが重要である。
最も顕著なことは、ImageNet21kの葉ラベルでの事前学習は、他の粗粒度レベルでの事前学習よりも、ImageNet1kでの転送結果がより優れていることである。
理論的には、2層畳み込みreluネットワークの解析により、以下のことが証明される。
1)粗粒ラベルを訓練したモデルは,共通又は「分かり易い」特徴にのみ強く反応する。
2) データセットが適切な条件を満たしている場合, きめ細かい事前学習は, 希少な特徴や"より困難"な特徴も学習させることを奨励し, モデルの一般化を改善する。
関連論文リスト
- Why Fine-grained Labels in Pretraining Benefit Generalization? [12.171634061370616]
近年の研究では、詳細なラベル付きデータでディープニューラルネットワークを事前トレーニングし、粗ラベル付きデータで微調整すると、粗ラベル付きデータで事前トレーニングするよりもより優れた一般化が得られることが示されている。
本稿では,入力データ分布を限定する階層的マルチビュー構造を導入することで,このギャップに対処する。
1)粗粒度事前学習はニューラルネットワークが共通の特徴をうまく学習するのに対して,2)粗粒度事前学習は,一般的な特徴に加えて稀な特徴をネットワークが学習するのに役立つため,ハードダウンストリームテストサンプルの精度が向上する。
論文 参考訳（メタデータ） (2024-10-30T15:41:30Z) - Task Specific Pretraining with Noisy Labels for Remote Sensing Image Segmentation [18.598405597933752]
自己監督(Self-supervision)は、人造地理空間アノテーションの正確な量を減らすためのリモートセンシングツールを提供する。
本研究では,モデル事前学習のためのノイズの多いセマンティックセグメンテーションマップを提案する。
2つのデータセットから,ノイズラベルを用いたタスク固有教師付き事前学習の有効性が示唆された。
論文 参考訳（メタデータ） (2024-02-25T18:01:42Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-26T07:39:00Z) - Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。
LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
論文 参考訳（メタデータ） (2022-04-14T17:33:34Z) - Debiased Pseudo Labeling in Self-Training [77.83549261035277]
ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。
ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。
疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
論文 参考訳（メタデータ） (2022-02-15T02:14:33Z) - Semi-weakly Supervised Contrastive Representation Learning for Retinal
Fundus Images [0.2538209532048867]
本稿では,半弱化アノテーションを用いた表現学習のための,半弱化教師付きコントラスト学習フレームワークを提案する。
SWCLの移動学習性能を7つの公立網膜眼底データセットで実証的に検証した。
論文 参考訳（メタデータ） (2021-08-04T15:50:09Z) - Self-Supervised Learning from Semantically Imprecise Data [7.24935792316121]
動物」や「鳥」などの不正確なラベルから学ぶことは、熟練したラベル付きトレーニングデータが乏しい場合に重要な機能です。
CHILLAXはこの課題に取り組むために最近提案された方法です。
制約外挿を用いた自己教師型スキームでCHILLAXを拡張して擬似ラベルを生成する。
論文 参考訳（メタデータ） (2021-04-22T07:26:14Z) - A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。
次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
論文 参考訳（メタデータ） (2021-04-08T23:40:02Z) - Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
ImageNet上での半教師あり学習に驚くほど効果的であることを示す。
我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。
ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
論文 参考訳（メタデータ） (2020-06-17T17:48:22Z) - Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。
私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。
これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
論文 参考訳（メタデータ） (2020-05-18T06:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。