論文の概要: What is being transferred in transfer learning?

• arxiv url: http://arxiv.org/abs/2008.11687v2
• Date: Thu, 14 Jan 2021 20:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 21:01:35.511307
• Title: What is being transferred in transfer learning?
• Title（参考訳）: 転校学習で何が移管されているのか?
• Authors: Behnam Neyshabur and Hanie Sedghi and Chiyuan Zhang
• Abstract要約: 事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
• 参考スコア（独自算出の注目度）: 51.6991244438545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One desired capability for machines is the ability to transfer their knowledge of one domain to another where data is (usually) scarce. Despite ample adaptation of transfer learning in various deep learning applications, we yet do not understand what enables a successful transfer and which part of the network is responsible for that. In this paper, we provide new tools and analyses to address these fundamental questions. Through a series of analyses on transferring to block-shuffled images, we separate the effect of feature reuse from learning low-level statistics of data and show that some benefit of transfer learning comes from the latter. We present that when training from pre-trained weights, the model stays in the same basin in the loss landscape and different instances of such model are similar in feature space and close in parameter space.
• Abstract（参考訳）: マシンの望ましい能力の1つは、あるドメインの知識を(通常)データが不足している別のドメインに転送する能力である。 各種深層学習アプリケーションにおける伝達学習の適応度は十分にあるものの,どの部分で転送が成功し,ネットワークのどの部分がそれに責任を持つのかは,まだ分かっていない。 本稿では,これらの基本的な問題に対処するための新しいツールと分析を提供する。 ブロックシャッフル画像への転送に関する一連の分析を通じて,特徴再利用の効果を低レベルのデータ統計の学習から切り離し,転送学習のメリットが後者にあることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。

関連論文リスト

• A Data-Based Perspective on Transfer Learning [76.30206800557411]
  転送学習におけるソースデータセットの合成の役割について,より詳しく検討する。 我々のフレームワークは、転送学習の脆さをピンポインティングするなど、新しい機能を生み出します。
  論文  参考訳（メタデータ） (2022-07-12T17:58:28Z)
• Intra-domain and cross-domain transfer learning for time series data -- How transferable are the features? [0.0]
  本研究の目的は,時系列データの異なる領域間において,転送可能がどのような特徴を持つかを評価することである。 伝達学習の効果は,モデルの予測性能と学習時の収束率の観点から観察される。
  論文  参考訳（メタデータ） (2022-01-12T12:55:21Z)
• Disentangling Transfer and Interference in Multi-Domain Learning [53.34444188552444]
  マルチドメイン学習において,干渉や知識伝達が発生する状況について検討する。 干渉と転送を分離する新しいメトリクスを提案し、実験プロトコルをセットアップする。 我々は、CIFAR-100、MiniPlaces、Tiny-ImageNetデータセットでこの結果を示す。
  論文  参考訳（メタデータ） (2021-07-02T01:30:36Z)
• A Concise Review of Transfer Learning [1.5771347525430772]
  転送学習は、他の関連するソースデータを適用することで、ターゲット学習者のパフォーマンスを高めることを目的としている。 従来の機械学習とデータマイニングのテクニックは、トレーニングとテストのデータは同じ特徴空間と分布から来ていると仮定する。
  論文  参考訳（メタデータ） (2021-04-05T20:34:55Z)
• Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types [50.1843146606122]
  現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。 転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。 本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
  論文  参考訳（メタデータ） (2021-03-24T16:24:20Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• Limits of Transfer Learning [0.0]
  我々は、転送する情報の集合を慎重に選択する必要性と、転送される情報とターゲット問題との依存関係の必要性を示す。 これらの結果は、機械学習のためのアルゴリズム検索フレームワークの上に構築され、転送を用いた幅広い学習問題に適用できる。
  論文  参考訳（メタデータ） (2020-06-23T01:48:23Z)
• Exploring the Efficacy of Transfer Learning in Mining Image-Based Software Artifacts [1.5285292154680243]
  トランスファーラーニングにより、利用可能なデータの量に制限があっても、大量の学習パラメータを必要とするディープアーキテクチャをトレーニングすることができます。 本稿では,ソフトウェア図の分類問題に適用した非ソフトウェア工学データに基づいて事前学習したモデルを用いたトランスファーラーニングの適用可能性について検討する。
  論文  参考訳（メタデータ） (2020-03-03T16:41:45Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。