論文の概要: Towards Understanding the Effect of Pretraining Label Granularity
- arxiv url: http://arxiv.org/abs/2303.16887v2
- Date: Thu, 5 Oct 2023 17:32:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 22:43:44.280263
- Title: Towards Understanding the Effect of Pretraining Label Granularity
- Title（参考訳）: ラベル粒度事前学習の効果の解明に向けて
- Authors: Guan Zhe Hong, Yin Cui, Ariel Fuxman, Stanley H. Chan, Enming Luo
- Abstract要約: 我々は,事前学習ラベル空間が目標問題よりもきめ細かな「細粒度から粗い」伝達学習環境に焦点をあてる。
ImageNet21kの葉ラベルの事前学習は、他の粗粒度レベルの事前学習よりも、ImageNet1kの転送結果が優れていることを示す。
- 参考スコア（独自算出の注目度）: 23.61736162174686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study how the granularity of pretraining labels affects the
generalization of deep neural networks in image classification tasks. We focus
on the "fine-to-coarse" transfer learning setting, where the pretraining label
space is more fine-grained than that of the target problem. Empirically, we
show that pretraining on the leaf labels of ImageNet21k produces better
transfer results on ImageNet1k than pretraining on other coarser granularity
levels, which supports the common practice used in the community.
Theoretically, we explain the benefit of fine-grained pretraining by proving
that, for a data distribution satisfying certain hierarchy conditions, 1)
coarse-grained pretraining only allows a neural network to learn the "common"
or "easy-to-learn" features well, while 2) fine-grained pretraining helps the
network learn the "rarer" or "fine-grained" features in addition to the common
ones, thus improving its accuracy on hard downstream test samples in which
common features are missing or weak in strength. Furthermore, we perform
comprehensive experiments using the label hierarchies of iNaturalist 2021 and
observe that the following conditions, in addition to proper choice of label
granularity, enable the transfer to work well in practice: 1) the pretraining
dataset needs to have a meaningful label hierarchy, and 2) the pretraining and
target label functions need to align well.
- Abstract（参考訳）: 本稿では,事前学習ラベルの粒度が画像分類タスクにおけるディープニューラルネットワークの一般化に与える影響について検討する。
我々は,事前学習ラベル空間が目標問題よりもきめ細かな「細粒度から粗い」伝達学習環境に焦点を当てた。
実験により,ImageNet21kの葉柄ラベルの事前学習は,他の粗粒度レベルの事前学習よりもImageNet1kの転送結果が良好であることが確認された。
理論的には,特定の階層条件を満たすデータ分布に対して,きめ細かい事前学習の利点を説明する。
1)粗粒度事前学習は、ニューラルネットワークが「共通」または「学習し易い」特徴をよく学べることのみを許す。
2) ネットワークの「粗い」機能や「きめ細かい」機能を学ぶのに役立ち, 共通の特徴の欠如や強度の弱いダウンストリームテストサンプルの精度を向上させる。
さらに,iNaturalist 2021のラベル階層を用いて包括的実験を行い,ラベルの粒度の適切な選択に加えて,次の条件が実際にうまく機能することを確認する。
1)プリトレーニングデータセットには有意義なラベル階層が必要である。
2)プリトレーニングとターゲットラベル機能は適切に調整する必要がある。
関連論文リスト
- Why Fine-grained Labels in Pretraining Benefit Generalization? [12.171634061370616]
近年の研究では、詳細なラベル付きデータでディープニューラルネットワークを事前トレーニングし、粗ラベル付きデータで微調整すると、粗ラベル付きデータで事前トレーニングするよりもより優れた一般化が得られることが示されている。
本稿では,入力データ分布を限定する階層的マルチビュー構造を導入することで,このギャップに対処する。
1)粗粒度事前学習はニューラルネットワークが共通の特徴をうまく学習するのに対して,2)粗粒度事前学習は,一般的な特徴に加えて稀な特徴をネットワークが学習するのに役立つため,ハードダウンストリームテストサンプルの精度が向上する。
論文 参考訳（メタデータ） (2024-10-30T15:41:30Z) - Task Specific Pretraining with Noisy Labels for Remote Sensing Image Segmentation [18.598405597933752]
自己監督(Self-supervision)は、人造地理空間アノテーションの正確な量を減らすためのリモートセンシングツールを提供する。
本研究では,モデル事前学習のためのノイズの多いセマンティックセグメンテーションマップを提案する。
2つのデータセットから,ノイズラベルを用いたタスク固有教師付き事前学習の有効性が示唆された。
論文 参考訳（メタデータ） (2024-02-25T18:01:42Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-26T07:39:00Z) - Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。
LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
論文 参考訳（メタデータ） (2022-04-14T17:33:34Z) - Debiased Pseudo Labeling in Self-Training [77.83549261035277]
ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。
ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。
疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
論文 参考訳（メタデータ） (2022-02-15T02:14:33Z) - Semi-weakly Supervised Contrastive Representation Learning for Retinal
Fundus Images [0.2538209532048867]
本稿では,半弱化アノテーションを用いた表現学習のための,半弱化教師付きコントラスト学習フレームワークを提案する。
SWCLの移動学習性能を7つの公立網膜眼底データセットで実証的に検証した。
論文 参考訳（メタデータ） (2021-08-04T15:50:09Z) - Self-Supervised Learning from Semantically Imprecise Data [7.24935792316121]
動物」や「鳥」などの不正確なラベルから学ぶことは、熟練したラベル付きトレーニングデータが乏しい場合に重要な機能です。
CHILLAXはこの課題に取り組むために最近提案された方法です。
制約外挿を用いた自己教師型スキームでCHILLAXを拡張して擬似ラベルを生成する。
論文 参考訳（メタデータ） (2021-04-22T07:26:14Z) - A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。
次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
論文 参考訳（メタデータ） (2021-04-08T23:40:02Z) - Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
ImageNet上での半教師あり学習に驚くほど効果的であることを示す。
我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。
ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
論文 参考訳（メタデータ） (2020-06-17T17:48:22Z) - Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。
私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。
これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
論文 参考訳（メタデータ） (2020-05-18T06:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。