論文の概要: Rethinking Two Consensuses of the Transferability in Deep Learning

• arxiv url: http://arxiv.org/abs/2212.00399v1
• Date: Thu, 1 Dec 2022 10:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 15:21:49.762466
• Title: Rethinking Two Consensuses of the Transferability in Deep Learning
• Title（参考訳）: 深層学習における伝達可能性の2つのコンセンサス再考
• Authors: Yixiong Chen, Jingxian Li, Chris Ding, Li Liu
• Abstract要約: ディープ・トランスファー・ラーニング(Deep Transfer Learning、DTL)は、ディープ・ニューラルネットワーク(Deep Neural Network、DNN)が人間と同じくらい効率的に過去の経験を再利用できるようにするための長期的探求である。 本研究の目的は、事前学習したDNNパラメータの転送可能性を測定する手法を提案し、より広い視点からそれらを研究・補完することである。 1)ドメインギャップ,データ量,下流目標タスクの膨大なデータセットの多様性に加えて,転送性も禁止されている。
• 参考スコア（独自算出の注目度）: 16.460342425335686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep transfer learning (DTL) has formed a long-term quest toward enabling deep neural networks (DNNs) to reuse historical experiences as efficiently as humans. This ability is named knowledge transferability. A commonly used paradigm for DTL is firstly learning general knowledge (pre-training) and then reusing (fine-tuning) them for a specific target task. There are two consensuses of transferability of pre-trained DNNs: (1) a larger domain gap between pre-training and downstream data brings lower transferability; (2) the transferability gradually decreases from lower layers (near input) to higher layers (near output). However, these consensuses were basically drawn from the experiments based on natural images, which limits their scope of application. This work aims to study and complement them from a broader perspective by proposing a method to measure the transferability of pre-trained DNN parameters. Our experiments on twelve diverse image classification datasets get similar conclusions to the previous consensuses. More importantly, two new findings are presented, i.e., (1) in addition to the domain gap, a larger data amount and huge dataset diversity of downstream target task also prohibit the transferability; (2) although the lower layers learn basic image features, they are usually not the most transferable layers due to their domain sensitivity.
• Abstract（参考訳）: ディープ・トランスファー・ラーニング(Deep Transfer Learning、DTL)は、ディープ・ニューラルネットワーク(Deep Neural Network、DNN)が人間と同じくらい効率的に過去の経験を再利用できるようにするための長期的探求である。 この能力は知識伝達能力と呼ばれる。 DTLの一般的なパラダイムは、まず一般的な知識(事前学習)を学び、次に特定の目標タスクに対してそれらを再利用することである。 事前学習されたdnnの転送可能性に関するコンセンサスは2つある: (1) 事前訓練データと下流データの間のより大きなドメインギャップは、転送可能性の低下をもたらす; (2) 転送可能性は、低層(入力付近)から高層(出力付近)へと徐々に減少する。 しかし、これらのコンセンサスは基本的に自然画像に基づく実験から導かれ、適用範囲が制限された。 本研究の目的は、事前学習したDNNパラメータの転送可能性を測定する手法を提案し、より広い視点からそれらを研究・補完することである。 12の多様な画像分類データセットに対する実験は、以前のコンセンサスと同様の結論を得る。 より重要なことは、(1)ドメインギャップ、より大きなデータ量、そして下流のターゲットタスクの巨大なデータセットの多様性に加えて、転送可能性も禁止する、(2)下位層は基本的なイメージ特徴を学ぶが、ドメインの感度のために一般的に最も転送可能な層ではない、という2つの新たな発見が提示されている。

関連論文リスト

• Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning [66.20311762506702]
  データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。 本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:07:49Z)
• Transfer Learning between Motor Imagery Datasets using Deep Learning -- Validation of Framework and Comparison of Datasets [0.0]
  本稿では,コンピュータビジョンによく用いられる,シンプルなディープラーニングベースのフレームワークを提案する。 精神画像復号処理におけるデータセット間変換学習の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-04T20:58:57Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• Deep transfer learning for image classification: a survey [4.590533239391236]
  画像分類のベストプラクティスは、大量のラベル付きデータに基づいて大きな深層モデルをトレーニングできることである。 これらのシナリオでは、トランスファーラーニングはパフォーマンスを改善するのに役立つ。 画像分類におけるトランスファーラーニングの適用の新たな分類法を提案する。
  論文  参考訳（メタデータ） (2022-05-20T00:03:39Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Non-binary deep transfer learning for imageclassification [1.858151490268935]
  コンピュータビジョンタスクの現在の標準は、ImageNetのような大規模な画像分類データセットで事前訓練された重みを微調整することである。 転送学習と転送学習の応用は、厳密に二分される傾向にある。 L2SPとL2正規化を組み合わせたノンバイナリトランスファー学習法を提案する。
  論文  参考訳（メタデータ） (2021-07-19T02:34:38Z)
• Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote Sensing Data [64.40187171234838]
  季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。 SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
  論文  参考訳（メタデータ） (2021-03-30T18:26:39Z)
• Learning Invariant Representations across Domains and Tasks [81.30046935430791]
  本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
  論文  参考訳（メタデータ） (2021-03-03T11:18:43Z)
• Flexible deep transfer learning by separate feature embeddings and manifold alignment [0.0]
  オブジェクト認識は、業界と防衛において重要な存在である。 残念ながら、既存のラベル付きデータセットでトレーニングされたアルゴリズムは、データ分布が一致しないため、直接新しいデータに一般化しない。 本稿では,各領域の特徴抽出を個別に学習することで,この制限を克服する新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-22T19:24:44Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。