論文の概要: Renofeation: A Simple Transfer Learning Method for Improved Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2002.02998v2
• Date: Wed, 28 Apr 2021 14:46:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 03:34:07.295524
• Title: Renofeation: A Simple Transfer Learning Method for Improved Adversarial Robustness
• Title（参考訳）: Renofeation: 対向ロバスト性向上のための簡易移動学習法
• Authors: Ting-Wu Chin, Cha Zhang, Diana Marculescu
• Abstract要約: 最近の敵攻撃は、エンド・ツー・エンドの微調整を通じてトランスファーラーニングで訓練されたモデルを欺くことができる。 これにより、多くの産業アプリケーションに対するセキュリティ上の懸念が高まる。 本稿では,新しい伝達学習法であるノイズ特性蒸留を提案する。
• 参考スコア（独自算出の注目度）: 26.73248223512572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning through knowledge transfer from a pre-trained model on a large-scale dataset is a widely spread approach to effectively build models on small-scale datasets. In this work, we show that a recent adversarial attack designed for transfer learning via re-training the last linear layer can successfully deceive models trained with transfer learning via end-to-end fine-tuning. This raises security concerns for many industrial applications. In contrast, models trained with random initialization without transfer are much more robust to such attacks, although these models often exhibit much lower accuracy. To this end, we propose noisy feature distillation, a new transfer learning method that trains a network from random initialization while achieving clean-data performance competitive with fine-tuning. Code available at https://github.com/cmu-enyac/Renofeation.
• Abstract（参考訳）: 大規模データセット上の事前学習モデルからの知識伝達による微調整は、小規模データセット上でモデルを効果的に構築するための広く普及したアプローチである。 本研究は, 最終線形層の再学習により伝達学習を意図した最近の敵攻撃が, エンド・ツー・エンドの微調整により伝達学習を訓練したモデルを認識できることを示す。 これにより、多くの産業アプリケーションに対するセキュリティ上の懸念が高まる。 対照的に、転送のないランダム初期化でトレーニングされたモデルは、そのような攻撃に対してはるかに頑健であるが、これらのモデルはしばしば精度がかなり低い。 そこで本研究では,無作為初期化からネットワークを学習し,微調整と競合するクリーンデータ性能を実現する新しいトランスファー学習手法である,ノイズ特性蒸留を提案する。 コードはhttps://github.com/cmu-enyac/renofeationで入手できる。

関連論文リスト

• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• Efficiently Robustify Pre-trained Models [18.392732966487582]
  大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。 まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。 続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
  論文  参考訳（メタデータ） (2023-09-14T08:07:49Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• Revisiting the Updates of a Pre-trained Model for Few-shot Learning [11.871523410051527]
  我々は2つの人気のある更新手法、微調整と線形探索を比較した。 試料数の増加に伴い, 微調整は線形探索より優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T08:47:06Z)
• Learning to Learn Transferable Attack [77.67399621530052]
  転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。 本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。 提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
  論文  参考訳（メタデータ） (2021-12-10T07:24:21Z)
• CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
  ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。 本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
  論文  参考訳（メタデータ） (2021-06-12T02:29:55Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。