論文の概要: CARTL: Cooperative Adversarially-Robust Transfer Learning
- arxiv url: http://arxiv.org/abs/2106.06667v1
- Date: Sat, 12 Jun 2021 02:29:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-20 00:19:23.693537
- Title: CARTL: Cooperative Adversarially-Robust Transfer Learning
- Title(参考訳): CARTL: 協調的対話型移動学習
- Authors: Dian Chen, Hongxin Hu, Qian Wang, Yinli Li, Cong Wang, Chao Shen, Qi
Li
- Abstract要約: ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。
本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
- 参考スコア(独自算出の注目度): 22.943270371841226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning eases the burden of training a well-performed model from
scratch, especially when training data is scarce and computation power is
limited. In deep learning, a typical strategy for transfer learning is to
freeze the early layers of a pre-trained model and fine-tune the rest of its
layers on the target domain. Previous work focuses on the accuracy of the
transferred model but neglects the transfer of adversarial robustness. In this
work, we first show that transfer learning improves the accuracy on the target
domain but degrades the inherited robustness of the target model. To address
such a problem, we propose a novel cooperative adversarially-robust transfer
learning (CARTL) by pre-training the model via feature distance minimization
and fine-tuning the pre-trained model with non-expansive fine-tuning for target
domain tasks. Empirical results show that CARTL improves the inherited
robustness by about 28% at most compared with the baseline with the same degree
of accuracy. Furthermore, we study the relationship between the batch
normalization (BN) layers and the robustness in the context of transfer
learning, and we reveal that freezing BN layers can further boost the
robustness transfer.
- Abstract(参考訳): 転送学習は、特にトレーニングデータが不足し、計算能力が限られている場合に、パフォーマンスの良いモデルをスクラッチからトレーニングすることの負担を緩和する。
ディープラーニングでは、トランスファー学習の典型的な戦略は、トレーニング済みモデルの初期のレイヤを凍結し、他のレイヤをターゲットドメインに微調整する。
従来の研究は、転送されたモデルの正確性に焦点をあてるが、敵の堅牢性の伝達を無視する。
本研究ではまず,転送学習によって対象領域の精度が向上するが,対象モデルのロバスト性は低下することを示す。
このような問題に対処するために,特徴距離最小化によるモデルの事前学習と,対象ドメインタスクに対する非拡張的微調整による事前学習を行うことにより,協調的逆転変換学習(CARTL)を提案する。
実験の結果,CARTLはベースラインとほぼ同等の精度で,遺伝性ロバストネスを約28%向上させることがわかった。
さらに, バッチ正規化(BN)層と転送学習の文脈におけるロバスト性との関係について検討し, 凍ったBN層がロバスト性伝達をさらに促進できることを明らかにする。
関連論文リスト
- Initialization Matters for Adversarial Transfer Learning [65.58440557481316]
トランスファーラーニングにおけるプレトレイン・フィネチングのパラダイムの普及に伴い、下流タスクのロバスト性は重要な問題となっている。
直交線形探索により得られる重みで線形頭部を初期化する対向微調整のためのロバスト線形初期化(RoLI)を提案する。
5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
論文 参考訳(メタデータ) (2023-12-10T00:51:05Z) - Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。
本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
論文 参考訳(メタデータ) (2023-10-06T21:50:21Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳(メタデータ) (2023-03-02T17:32:11Z) - Principled and Efficient Transfer Learning of Deep Models via Neural
Collapse [35.365366092030904]
この研究は、神経崩壊(NC)と呼ばれる興味深い現象を通して、伝達学習の謎を掘り下げる
i) 事前学習時のモデル, クラス内変動の崩壊防止(ある程度)は, 入力データの内在的構造をよりよく保存し, モデル伝達性の向上につながること, (ii) 下流タスクの微調整モデルでは, 下流データ上でよりNCの高い特徴を得ることにより, 与えられたタスクの精度が向上すること, などである。
論文 参考訳(メタデータ) (2022-12-23T08:48:34Z) - Frustratingly Easy Transferability Estimation [64.42879325144439]
本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。
TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。
10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
論文 参考訳(メタデータ) (2021-06-17T10:27:52Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳(メタデータ) (2020-09-24T15:40:55Z) - Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。
私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
論文 参考訳(メタデータ) (2020-07-16T17:42:40Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳(メタデータ) (2020-06-16T22:49:26Z) - Renofeation: A Simple Transfer Learning Method for Improved Adversarial
Robustness [26.73248223512572]
最近の敵攻撃は、エンド・ツー・エンドの微調整を通じてトランスファーラーニングで訓練されたモデルを欺くことができる。
これにより、多くの産業アプリケーションに対するセキュリティ上の懸念が高まる。
本稿では,新しい伝達学習法であるノイズ特性蒸留を提案する。
論文 参考訳(メタデータ) (2020-02-07T20:07:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。