論文の概要: Why Fine-grained Labels in Pretraining Benefit Generalization?

• arxiv url: http://arxiv.org/abs/2410.23129v1
• Date: Wed, 30 Oct 2024 15:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:12.040871
• Title: Why Fine-grained Labels in Pretraining Benefit Generalization?
• Title（参考訳）: ベネフィット・ジェネレーションの育成になぜきめ細かなラベルが使えるのか?
• Authors: Guan Zhe Hong, Yin Cui, Ariel Fuxman, Stanely Chan, Enming Luo,
• Abstract要約: 近年の研究では、詳細なラベル付きデータでディープニューラルネットワークを事前トレーニングし、粗ラベル付きデータで微調整すると、粗ラベル付きデータで事前トレーニングするよりもより優れた一般化が得られることが示されている。 本稿では,入力データ分布を限定する階層的マルチビュー構造を導入することで,このギャップに対処する。 1)粗粒度事前学習はニューラルネットワークが共通の特徴をうまく学習するのに対して,2)粗粒度事前学習は,一般的な特徴に加えて稀な特徴をネットワークが学習するのに役立つため,ハードダウンストリームテストサンプルの精度が向上する。
• 参考スコア（独自算出の注目度）: 12.171634061370616
• License:
• Abstract: Recent studies show that pretraining a deep neural network with fine-grained labeled data, followed by fine-tuning on coarse-labeled data for downstream tasks, often yields better generalization than pretraining with coarse-labeled data. While there is ample empirical evidence supporting this, the theoretical justification remains an open problem. This paper addresses this gap by introducing a "hierarchical multi-view" structure to confine the input data distribution. Under this framework, we prove that: 1) coarse-grained pretraining only allows a neural network to learn the common features well, while 2) fine-grained pretraining helps the network learn the rare features in addition to the common ones, leading to improved accuracy on hard downstream test samples.
• Abstract（参考訳）: 近年の研究では、詳細なラベル付きデータによるディープニューラルネットワークの事前トレーニングに続いて、下流タスクのための粗ラベル付きデータを微調整することで、粗ラベル付きデータによる事前トレーニングよりも優れた一般化が得られることが示されている。 これを支持する実証的な証拠は豊富にあるが、理論上の正当化は依然として未解決の問題である。 本稿では,入力データ分布を限定する階層的マルチビュー構造を導入することで,このギャップに対処する。 この枠組みの下で、我々は次のように証明する。 1)粗粒度事前学習は、ニューラルネットワークが共通の特徴をよく学習することのみを可能にする。 2) 詳細な事前学習により, ネットワークは, 一般的な特徴に加えて, 稀な特徴を学習し, ダウンストリームテストサンプルの精度を向上させることができる。

関連論文リスト

• Benign Overfitting and Grokking in ReLU Networks for XOR Cluster Data [42.870635753205185]
  勾配降下(GD)によって訓練されたニューラルネットワークは、多くの驚くべき一般化挙動を示した。 これらの現象は、XORクラスタデータ上でGDによって訓練された2層ReLUネットワークにおいて、良好に発生することを示す。 後続のトレーニングステップでは、ネットワークはトレーニングデータにランダムラベルをいまだに適合させながら、ほぼ最適のテスト精度を達成し、"グロッキング"現象を示す。
  論文  参考訳（メタデータ） (2023-10-04T02:50:34Z)
• Towards Understanding the Effect of Pretraining Label Granularity [23.61736162174686]
  我々は,事前学習ラベル空間が目標問題よりもきめ細かな「細粒度から粗い」伝達学習環境に焦点をあてる。 ImageNet21kの葉ラベルの事前学習は、他の粗粒度レベルの事前学習よりも、ImageNet1kの転送結果が優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-29T17:56:36Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
  勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。 ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。 線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
  論文  参考訳（メタデータ） (2022-02-11T23:04:00Z)
• How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
  この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。 トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。 また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
  論文  参考訳（メタデータ） (2022-01-21T02:16:52Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
  最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。 次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-08T23:40:02Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
  現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。 私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。 これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-18T06:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。