論文の概要: Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning

• arxiv url: http://arxiv.org/abs/2304.11834v1
• Date: Mon, 24 Apr 2023 05:44:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 16:08:46.943440
• Title: Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning
• Title（参考訳）: ロバストなチケットはよりよく転送できる:転送学習で転送可能なサブネットワークを描く
• Authors: Yonggan Fu, Ye Yuan, Shang Wu, Jiayi Yuan, Yingyan Lin
• Abstract要約: Transfer Learningは、ソースタスクとリッチデータで事前訓練されたディープニューラルネットワーク(DNN)の機能表現を活用して、下流タスクの微調整を強化する。 我々は,ロバストなチケットがより優れた転送を可能にすること,すなわち,適切に誘導された敵のロバスト性によって引き起こされたワークが,バニラ宝くじよりも優れた転送性を得ることができることの発見を活用する新しい転送学習パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 25.310066345466396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning leverages feature representations of deep neural networks (DNNs) pretrained on source tasks with rich data to empower effective finetuning on downstream tasks. However, the pretrained models are often prohibitively large for delivering generalizable representations, which limits their deployment on edge devices with constrained resources. To close this gap, we propose a new transfer learning pipeline, which leverages our finding that robust tickets can transfer better, i.e., subnetworks drawn with properly induced adversarial robustness can win better transferability over vanilla lottery ticket subnetworks. Extensive experiments and ablation studies validate that our proposed transfer learning pipeline can achieve enhanced accuracy-sparsity trade-offs across both diverse downstream tasks and sparsity patterns, further enriching the lottery ticket hypothesis.
• Abstract（参考訳）: Transfer Learningは、ソースタスクとリッチデータで事前訓練されたディープニューラルネットワーク(DNN)の機能表現を活用して、下流タスクの効果的な微調整を可能にする。 しかしながら、事前訓練されたモデルは、一般化可能な表現を提供するために、しばしば禁止的に大きい。 このギャップを埋めるために,我々は,ロバストチケットがよりよく転送可能であること,すなわち,適切に誘導された敵対的ロバスト性で描画されたサブネットワークがバニラ抽選チケットサブネットワークよりも転送性が向上することを活用する,新しいトランスファー学習パイプラインを提案する。 大規模な実験とアブレーション研究により,提案したトランスファー学習パイプラインは,多様な下流タスクとスパーシティパターンの両方にわたる精度・スパーシティトレードオフを達成でき,さらに抽選チケット仮説をさらに強化できることを確認した。

関連論文リスト

• Risk of Transfer Learning and its Applications in Finance [2.966069495345018]
  本稿では,トランスファーリスクの新たな概念を提案し,その特性を分析し,トランスファー学習のトランスファー可能性を評価する。 数値計算の結果,伝達リスクと全体の伝達学習性能との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-11-06T17:23:54Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Data-Efficient Double-Win Lottery Tickets from Robust Pre-training [129.85939347733387]
  本稿では,事前学習したモデルからのサブネットワークを,様々な下流タスクで独立に転送できるDouble-Win Lottery Ticketsを紹介する。 頑健な事前訓練は、標準的なものよりも優れたパフォーマンスで、スペーサーのダブルウィン・宝くじを製作する傾向にある。
  論文  参考訳（メタデータ） (2022-06-09T20:52:50Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks [24.041268664220294]
  畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。 本稿では,ネットワーク構造やデータセットに制約を加えることなく,シンプルな知識伝達手法を提案する。 本研究では,従来の知識を現在の学習プロセスに伝達する学習手法を,ソフトラベルを用いた自己監督を通じて,目標タスクの補助的タスクとして考案する。
  論文  参考訳（メタデータ） (2021-10-25T07:18:26Z)
• Adversarial Training Helps Transfer Learning via Better Representations [17.497590668804055]
  Transfer Learningは、ソースデータに事前トレーニングされたモデルを活用して、ターゲット設定に効率的に適応することを目的としている。 最近の研究は、情報源データにおける敵対的訓練が、新しいドメインへのモデル転送能力を向上させることを実証的に実証している。 本研究は, 情報源データにおける対角的学習により, より優れた表現が生成されることを示し, この表現を微調整することで, 対象データのより正確な予測が可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:41:07Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。