論文の概要: DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining

• arxiv url: http://arxiv.org/abs/2509.06990v1
• Date: Tue, 02 Sep 2025 18:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.003194
• Title: DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining
• Title（参考訳）: DIET-CP:軽量でデータ効率の良い自己監督型事前訓練
• Authors: Bryan Rodas, Natalie Montesino, Jakob Ambsdorf, David Klindt, Randall Balestriero,
• Abstract要約: DIET-CPは、ファンデーションモデルを新しいターゲットドメインに適応するための、シンプルな継続事前学習戦略である。 非常に単純な目的に依存し、ラベルを必要とせず、教師付き微調整以上のハイパーパラメータを導入しない。 データモダリティやバックボーンの選択にまたがって安定しており、最先端モデルの大幅なパフォーマンス向上を提供する。
• 参考スコア（独自算出の注目度）: 15.06265235986784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continued pretraining offers a promising solution for adapting foundation models to a new target domain. However, in specialized domains, available datasets are often very small, limiting the applicability of SSL methods developed for large-scale pretraining and making hyperparameter search infeasible. In addition, pretrained models are usually released as backbone-weights only, lacking important information to continue pretraining. We propose to bridge this gap with DIET-CP, a simple continued pretraining strategy, where any strong foundation model can be steered towards the new data distribution of interest. DIET-CP relies on a very simple objective, requires no labels, and introduces no more hyperparameters than supervised finetuning. It is stable across data modalities and backbone choices, while providing a significant performance boost for state-of-the-art models such as DINOv3 using only 1000 images.
• Abstract（参考訳）: 継続的な事前トレーニングは、ファンデーションモデルを新しいターゲットドメインに適応するための有望なソリューションを提供する。 しかし、特殊なドメインでは、利用可能なデータセットは非常に小さく、大規模な事前トレーニングのために開発されたSSLメソッドの適用性が制限され、ハイパーパラメータ検索が不可能になることが多い。 加えて、事前訓練されたモデルは、通常、バックボーンウェイトのみとしてリリースされ、事前訓練を続けるための重要な情報が欠如している。 我々は、このギャップをDIET-CPという単純な継続事前学習戦略で埋めることを提案する。 DIET-CPは非常に単純な目的に依存し、ラベルを必要としない。 データモダリティやバックボーンの選択は安定しているが、DINOv3のような最先端のモデルでは1000イメージしか使用できない。

関連論文リスト

• DUSE: A Data Expansion Framework for Low-resource Automatic Modulation Recognition based on Active Learning [17.651073556023167]
  動的不確実性駆動型サンプル拡張(DUSE)と呼ばれるデータ拡張フレームワークを導入する。 DUSEは不確実性スコアリング機能を使用して、関連するAMRデータセットから有用なサンプルをフィルタリングする。 実験によると、DUSEはクラスバランスとクラスバランスの設定の両方で8コアセット選択ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-07-16T08:09:41Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Lifelong Language Pretraining with Distribution-Specialized Experts [39.86463645187337]
  Lifelong Learningの目的は、情報システムが時間にわたって連続したデータストリームから学習できるようにすることだ。 モデルキャパシティを動的に追加するMoEアーキテクチャであるLifelong-MoEを提案する。 既存の生涯学習アプローチと比較して、Lifelong-MoEは、19の下流のNLPタスクにおいて、より優れた数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-20T21:15:19Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Site-Agnostic 3D Dose Distribution Prediction with Deep Learning Neural Networks [0.983719084224035]
  現在の線量予測モデルは少量のデータに限られており、特定の場所で再訓練する必要がある。 本研究では, 深層学習を用いたサイトに依存しない3次元線量分布予測モデルを提案する。
  論文  参考訳（メタデータ） (2021-06-15T01:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。