論文の概要: Developmental Pretraining (DPT) for Image Classification Networks

• arxiv url: http://arxiv.org/abs/2312.00304v1
• Date: Fri, 1 Dec 2023 02:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 15:49:59.882561
• Title: Developmental Pretraining (DPT) for Image Classification Networks
• Title（参考訳）: 画像分類ネットワークのためのDPT(Developmental Pretraining)
• Authors: Niranjan Rajesh and Debayan Gupta
• Abstract要約: Developmental PreTraining (DPT) はカリキュラムベースの事前学習アプローチであり、データハングリーである従来の事前学習技術と競合するように設計されている。 DPTは、エッジや形状といった、慎重に選択された原始的かつ普遍的な特徴を、事前学習体制に参加するネットワークに教える段階的なアプローチを採用している。 ランダム化重み付きモデルに対して, DPT方式を施行したモデルを試行し, DPTの生存可能性を評価する。
• 参考スコア（独自算出の注目度）: 1.3986052523534573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the backdrop of increasing data requirements of Deep Neural Networks for object recognition that is growing more untenable by the day, we present Developmental PreTraining (DPT) as a possible solution. DPT is designed as a curriculum-based pre-training approach designed to rival traditional pre-training techniques that are data-hungry. These training approaches also introduce unnecessary features that could be misleading when the network is employed in a downstream classification task where the data is sufficiently different from the pre-training data and is scarce. We design the curriculum for DPT by drawing inspiration from human infant visual development. DPT employs a phased approach where carefully-selected primitive and universal features like edges and shapes are taught to the network participating in our pre-training regime. A model that underwent the DPT regime is tested against models with randomised weights to evaluate the viability of DPT.
• Abstract（参考訳）: オブジェクト認識のための深層ニューラルネットワークの要求が日に日に増大する背景において,その解決策としてdpt( developmental pretraining)を提案する。 DPTはカリキュラムベースの事前学習アプローチとして設計されており、データハングリーである従来の事前学習技術と競合するように設計されている。 これらのトレーニングアプローチは、事前学習データと十分に異なるデータが不足している下流分類タスクでネットワークが使用される際に、誤解を招く可能性のある不要な機能も導入する。 幼児の視覚発達からインスピレーションを得てDPTのカリキュラムを設計する。 DPTは、エッジや形状といった、慎重に選択された原始的かつ普遍的な特徴を、事前学習体制に参加するネットワークに教える段階的なアプローチを採用している。 ランダム化重み付きモデルに対して, DPT方式を施行したモデルを試験し, DPTの有効性を評価する。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• PhySU-Net: Long Temporal Context Transformer for rPPG with Self-Supervised Pre-training [21.521146237660766]
  本稿では,Phy-Net,Phy-Net,Phy-Net,Phy-Net,Phy-Net,Phy-Net,Phy-Netを提案する。 我々のモデルは2つの公開データセット(OBFとVIPL-HR)でテストされ、教師あり訓練において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:59:16Z)
• Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
  グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。 より少ないが慎重に選択されたデータはGNNモデルに入力される。 実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T07:09:59Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Statistical Foundations of Prior-Data Fitted Networks [0.7614628596146599]
  近年,機械学習の新しいパラダイムとしてPFNが提案されている。 本稿では,PFNの理論的基盤を確立し,その挙動を制御している統計的メカニズムを照らす。
  論文  参考訳（メタデータ） (2023-05-18T16:34:21Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• Continual Pre-Training Mitigates Forgetting in Language and Vision [43.80547864450793]
  絶え間なく事前訓練されたモデルは破滅的な忘れ物に対して堅牢であることを示す。 本稿では,自己指導型事前学習が,教師付きプロトコルよりも事前知識の保持に有効であることを示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-05-19T07:27:12Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Targeted Gradient Descent: A Novel Method for Convolutional Neural Networks Fine-tuning and Online-learning [9.011106198253053]
  畳み込みニューラルネットワーク(ConvNet)は通常、同じ分布から引き出された画像を使用してトレーニングされ、テストされる。 ConvNetをさまざまなタスクに一般化するには、さまざまなタスクから描画されたイメージからなる完全なトレーニングデータセットが必要になることが多い。 本稿では,従来のタスクからデータを再検討することなく,事前学習したネットワークを新しいタスクに拡張可能な,新たな微調整手法であるTGDを提案する。
  論文  参考訳（メタデータ） (2021-09-29T21:22:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。