論文の概要: Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning

• arxiv url: http://arxiv.org/abs/2310.08782v1
• Date: Fri, 13 Oct 2023 00:07:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 15:03:35.810589
• Title: Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning
• Title（参考訳）: 生産性を駆動する選択性: 伝達学習の効率化のための効率的なデータセット抽出
• Authors: Yihua Zhang, Yimeng Zhang, Aochuan Chen, Jinghan Jia, Jiancheng Liu, Gaowen Liu, Mingyi Hong, Shiyu Chang, Sijia Liu
• Abstract要約: データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。 本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
• 参考スコア（独自算出の注目度）: 66.20311762506702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Massive data is often considered essential for deep learning applications, but it also incurs significant computational and infrastructural costs. Therefore, dataset pruning (DP) has emerged as an effective way to improve data efficiency by identifying and removing redundant training samples without sacrificing performance. In this work, we aim to address the problem of DP for transfer learning, i.e., how to prune a source dataset for improved pretraining efficiency and lossless finetuning accuracy on downstream target tasks. To our best knowledge, the problem of DP for transfer learning remains open, as previous studies have primarily addressed DP and transfer learning as separate problems. By contrast, we establish a unified viewpoint to integrate DP with transfer learning and find that existing DP methods are not suitable for the transfer learning paradigm. We then propose two new DP methods, label mapping and feature mapping, for supervised and self-supervised pretraining settings respectively, by revisiting the DP problem through the lens of source-target domain mapping. Furthermore, we demonstrate the effectiveness of our approach on numerous transfer learning tasks. We show that source data classes can be pruned by up to 40% ~ 80% without sacrificing downstream performance, resulting in a significant 2 ~ 5 times speed-up during the pretraining stage. Besides, our proposal exhibits broad applicability and can improve other computationally intensive transfer learning techniques, such as adversarial pretraining. Codes are available at https://github.com/OPTML-Group/DP4TL.
• Abstract（参考訳）: 大規模データは深層学習アプリケーションには不可欠であると考えられがちだが、計算コストやインフラコストも大きい。 そのため,データセット解析(DP)は,冗長なトレーニングサンプルを識別・削除することでデータ効率を向上させる効果的な方法として出現している。 本研究は,移動学習におけるDPの課題,すなわち,下流目標タスクにおける事前学習効率の向上と損失のない微調整精度向上のためのソースデータセットの作成方法に対処することを目的とする。 我々の知る限り、転送学習におけるDPの問題は、従来研究が主にDPと転送学習を個別の問題として取り上げてきたため、まだ未解決のままである。 対照的に,トランスファー学習とdpを統合するための統一的な視点を確立し,既存のdp手法がトランスファー学習パラダイムに適さないことを示す。 次に、ソース・ターゲット領域マッピングのレンズを用いてDP問題を再検討することにより、教師付きおよび自己教師型事前学習設定のためのラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 さらに,多くの伝達学習課題に対するアプローチの有効性を実証する。 我々は、下流のパフォーマンスを犠牲にすることなく、ソースデータクラスを最大40%から80%まで刈り取ることができ、事前学習の段階では2倍から5倍のスピードアップを達成できることを示した。 さらに,提案手法は広く適用可能であり,逆行前学習などの計算集約的なトランスファー学習手法を改善することができる。 コードはhttps://github.com/OPTML-Group/DP4TLで公開されている。

関連論文リスト

• Beyond Efficiency: Molecular Data Pruning for Enhanced Generalization [30.738229850748137]
  MolPegは、一般化を強化するための分子データプルーニングフレームワークである。 これは、事前訓練されたモデルでデータプルーニングを適用する、ソースフリーなデータプルーニングシナリオに焦点を当てている。 4つのダウンストリームタスクで既存のDPメソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-09-02T09:06:04Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• Segmentation-guided Domain Adaptation for Efficient Depth Completion [3.441021278275805]
  本稿では,vgg05型CNNアーキテクチャと半教師付きドメイン適応手法に基づく効率的な深度補完モデルを提案する。 空間的コヒーレンスを高めるため,情報ソースとしてセグメンテーションを用いた学習プロセスを導出する。 提案手法は,計算フットプリントを著しく低くしながら,従来手法の効率的かつ低パラメータ状態を改善する。
  論文  参考訳（メタデータ） (2022-10-14T13:01:25Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Meta-learning Transferable Representations with a Single Target Domain [46.83481356352768]
  微調整とジョイントトレーニングは、下流タスクの精度を常に向上させるわけではない。 伝達可能な特徴を学習するためのメタ表現学習(MeRLin)を提案する。 MeRLinは、様々な実世界のビジョンとNLP転送学習ベンチマークにおいて、従来の最先端のトランスファー学習アルゴリズムを実証的に上回っている。
  論文  参考訳（メタデータ） (2020-11-03T01:57:37Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。