論文の概要: A Data-Based Perspective on Transfer Learning

• arxiv url: http://arxiv.org/abs/2207.05739v1
• Date: Tue, 12 Jul 2022 17:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 15:08:24.414505
• Title: A Data-Based Perspective on Transfer Learning
• Title（参考訳）: データに基づくトランスファー学習の展望
• Authors: Saachi Jain, Hadi Salman, Alaa Khaddaj, Eric Wong, Sung Min Park, Aleksander Madry
• Abstract要約: 転送学習におけるソースデータセットの合成の役割について,より詳しく検討する。 我々のフレームワークは、転送学習の脆さをピンポインティングするなど、新しい機能を生み出します。
• 参考スコア（独自算出の注目度）: 76.30206800557411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is commonly believed that in transfer learning including more pre-training data translates into better performance. However, recent evidence suggests that removing data from the source dataset can actually help too. In this work, we take a closer look at the role of the source dataset's composition in transfer learning and present a framework for probing its impact on downstream performance. Our framework gives rise to new capabilities such as pinpointing transfer learning brittleness as well as detecting pathologies such as data-leakage and the presence of misleading examples in the source dataset. In particular, we demonstrate that removing detrimental datapoints identified by our framework improves transfer learning performance from ImageNet on a variety of target tasks. Code is available at https://github.com/MadryLab/data-transfer
• Abstract（参考訳）: 事前学習データを含むトランスファー学習は、より良いパフォーマンスをもたらすと一般的に信じられている。 しかし、最近の証拠は、ソースデータセットからデータを削除することも実際に役立つことを示唆している。 本稿では、トランスファー学習におけるソースデータセットの構成の役割を詳細に検討し、そのダウンストリームパフォーマンスへの影響を調べるためのフレームワークを提案する。 我々のフレームワークは、転送学習の脆さのピンポインティングや、データ推論などの病理検出、ソースデータセットにおける誤解を招く事例の存在など、新たな機能を生み出します。 特に,我々のフレームワークが特定した有害なデータポイントの削除は,さまざまな対象タスクにおいてimagenetから転送学習性能を向上させることを実証する。 コードはhttps://github.com/MadryLab/data-transferで入手できる。

関連論文リスト

• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• When does Bias Transfer in Transfer Learning? [89.22641454588278]
  トランスファーラーニングを使用して、トレーニング済みの"ソースモデル"を下流の"ターゲットタスク"に適応させることで、ダウンサイドのないように見えるパフォーマンスを劇的に向上させることができる。 結局のところ、バイアス伝達や、モデルがターゲットクラスに適応した後でも、ソースモデルのバイアスが持続する傾向というマイナス面が存在することを実証する。
  論文  参考訳（メタデータ） (2022-07-06T17:58:07Z)
• CoDo: Contrastive Learning with Downstream Background Invariance for Detection [10.608660802917214]
  下流背景不変性(CoDo)を用いたコントラスト学習という,オブジェクトレベルの自己教師型学習手法を提案する。 プリテキストタスクは、さまざまなバックグラウンド、特に下流データセットのインスタンス位置モデリングに集中するように変換される。 MSCOCOの実験では、共通のバックボーンを持つCoDoであるResNet50-FPNが、オブジェクト検出に強力な転送学習結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2022-05-10T01:26:15Z)
• A Concise Review of Transfer Learning [1.5771347525430772]
  転送学習は、他の関連するソースデータを適用することで、ターゲット学習者のパフォーマンスを高めることを目的としている。 従来の機械学習とデータマイニングのテクニックは、トレーニングとテストのデータは同じ特徴空間と分布から来ていると仮定する。
  論文  参考訳（メタデータ） (2021-04-05T20:34:55Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes [6.419457653976053]
  データ・スターベド・レシエーションを持つドメインに対する転送学習のユースケースについて述べる。 畳み込み特徴抽出と微調整の有効性を評価する。 我々はトランスファーラーニングがCNNアーキテクチャの性能を向上させることを結論付けている。
  論文  参考訳（メタデータ） (2020-02-29T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。