論文の概要: TLDChoiceNet: Quantitatively Choosing a Transfer Learning Dataset

• arxiv url: http://arxiv.org/abs/2608.09091v1
• Date: Mon, 10 Aug 2026 03:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.07129
• Title: TLDChoiceNet: Quantitatively Choosing a Transfer Learning Dataset
• Title（参考訳）: TLDChoiceNet: 伝達学習データセットを定量的に選択する
• Abstract要約: 我々は、微調整後のテストセット精度を予測して、微調整データセットが与えられた最良の転写学習データセットを選択するモデルの設計を行う。 単純なバージョン1では、テストデータセット上で0.154 MSEが達成され、ImageNetで事前トレーニングされたResNet50 v2を組み込んだバージョン2では、クラスごとの情報で0.031の5倍低いMSEが得られる。
• 参考スコア（独自算出の注目度）: 0.33148826359547523
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transfer learning is particularly useful in settings with limited training data, and within image classification it is common to transfer learn upon massive datasets like ImageNet , CIFAR-100, or COCO . Qualitatively, it seems a transfer learning dataset should have both more classes and more examples per class than the fine tuning dataset; however, a quantitative method to choose the best transfer learning dataset does not currently exist. In this paper, we design TLDChoiceNet, a model to choose the best transfer learning dataset given a fine tuning dataset by predicting the test-set accuracy after fine-tuning. A simple version 1 achieves 0.154 MSE on the test dataset, while a version 2 leveraging an ImageNet pre-trained ResNet50 v2 embedding with per-class information attains a 5X lower MSE of 0.031. We further design two metrics that enable an unsupervised method of choosing an optimal transfer learning dataset: distribution distance (DD), which linearly regresses against fine-tune accuracy with an R2 of 0.89, and average class correlation (ACC), which improves the R2 to 0.97. Our results underscore that a dataset's low-level statistics can explain the transfer learning effect, and that using a pre-trained ImageNet can embed different classes further apart in latent feature space.
• Abstract（参考訳）: 転送学習は、限られたトレーニングデータを持つ設定で特に有用であり、画像分類では、ImageNet、CIFAR-100、COCOなどの大規模なデータセットで学習を転送することが一般的である。 定性的には、転送学習データセットは、微調整データセットよりもクラス数とクラス当たりの例数の両方を持つべきであるが、最良の転送学習データセットを選択するための定量的な方法が現在存在しない。 本稿では、微調整後のテストセット精度を予測して、微調整データセットが与えられた最良の転送学習データセットを選択するモデルであるTLDChoiceNetを設計する。 単純なバージョン1では、テストデータセット上で0.154 MSEが達成され、ImageNetで事前トレーニングされたResNet50 v2を組み込んだバージョン2では、クラスごとの情報で0.031の5倍低いMSEが得られる。 さらに、最適な転送学習データセットを選択するための教師なし手法である分散距離(DD)をR2の0.89で線形に回帰する手法と、R2を0.97に改善する平均クラス相関(ACC)の2つの指標を設計する。 以上の結果から,データセットの低レベル統計は伝達学習効果を説明することができ,事前学習されたImageNetは,潜在機能空間において,さらに異なるクラスを埋め込むことができることを示した。

関連論文リスト

• Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported [4.453137996095194]
  転送学習と5つのデータセットにまたがるソースタスクの事前情報とを比較検討する。 クラス毎の5-300例のシナリオでは、2つのデータセットに対して負あるいは無視的なゲイン、他の2つのデータセットでは控えめなゲイン、ひとつのデータセットでは実質的なゲインが見られます。
  論文  参考訳（メタデータ） (2024-05-24T14:12:23Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• Transfer Learning between Motor Imagery Datasets using Deep Learning -- Validation of Framework and Comparison of Datasets [0.0]
  本稿では,コンピュータビジョンによく用いられる,シンプルなディープラーニングベースのフレームワークを提案する。 精神画像復号処理におけるデータセット間変換学習の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-04T20:58:57Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
  本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
  論文  参考訳（メタデータ） (2020-11-20T06:16:15Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)
• Learning across label confidence distributions using Filtered Transfer Learning [0.44040106718326594]
  本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。 本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。 FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-03T21:00:11Z)
• Neural Data Server: A Large-Scale Search Engine for Transfer Learning Data [78.74367441804183]
  我々は,ターゲットドメインに最も有用な転送学習データを見つけるための大規模検索エンジンであるNeural Data Server (NDS)を紹介した。 NDSは、いくつかの人気のある画像データセットをインデックスするデータサーバで構成され、クライアントにデータを推奨することを目的としている。 我々は,NDSが様々な伝達学習シナリオにおいて有効であることを示し,複数のターゲットデータセットに対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-01-09T01:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。