論文の概要: Uncovering the Connections Between Adversarial Transferability and Knowledge Transferability

• arxiv url: http://arxiv.org/abs/2006.14512v4
• Date: Thu, 8 Jul 2021 19:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 02:39:03.454420
• Title: Uncovering the Connections Between Adversarial Transferability and Knowledge Transferability
• Title（参考訳）: 逆伝達可能性と知識伝達可能性の関係を明らかにする
• Authors: Kaizhao Liang, Jacky Y. Zhang, Boxin Wang, Zhuolin Yang, Oluwasanmi Koyejo, Bo Li
• Abstract要約: 我々は,知識伝達可能性と敵対的伝達可能性の関連性を分析し,実証する。 我々の理論的研究は、対向移動可能性は知識伝達可能性を示し、その逆であることを示している。 多様なデータセットの様々なシナリオに対する広範な実験を行い、対向移動可能性と知識伝達可能性との正の相関を示す。
• 参考スコア（独自算出の注目度）: 27.65302656389911
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Knowledge transferability, or transfer learning, has been widely adopted to allow a pre-trained model in the source domain to be effectively adapted to downstream tasks in the target domain. It is thus important to explore and understand the factors affecting knowledge transferability. In this paper, as the first work, we analyze and demonstrate the connections between knowledge transferability and another important phenomenon--adversarial transferability, \emph{i.e.}, adversarial examples generated against one model can be transferred to attack other models. Our theoretical studies show that adversarial transferability indicates knowledge transferability and vice versa. Moreover, based on the theoretical insights, we propose two practical adversarial transferability metrics to characterize this process, serving as bidirectional indicators between adversarial and knowledge transferability. We conduct extensive experiments for different scenarios on diverse datasets, showing a positive correlation between adversarial transferability and knowledge transferability. Our findings will shed light on future research about effective knowledge transfer learning and adversarial transferability analyses.
• Abstract（参考訳）: 知識伝達可能性、すなわち伝達学習は、ソースドメインの事前訓練されたモデルがターゲットドメインの下流タスクに効果的に適応できるようにするために広く採用されている。 したがって、知識伝達可能性に影響を与える要因を探求し理解することが重要である。 本稿では,まず,知識伝達可能性と他の重要な事象-敵伝達可能性との関係を解析・実証する。 我々の理論的研究は、対向移動可能性は知識伝達可能性を示し、その逆であることを示している。 さらに, 理論的知見に基づいて, この過程を特徴付けるための2つの実用的対角移動可能性指標を提案する。 多様なデータセットの様々なシナリオに対する広範な実験を行い、対向移動可能性と知識伝達可能性との正の相関を示す。 本研究は,効果的な知識伝達学習と対向的伝達可能性分析に関する今後の研究に光を当てる。

関連論文リスト

• Risk of Transfer Learning and its Applications in Finance [2.966069495345018]
  本稿では,トランスファーリスクの新たな概念を提案し,その特性を分析し,トランスファー学習のトランスファー可能性を評価する。 数値計算の結果,伝達リスクと全体の伝達学習性能との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-11-06T17:23:54Z)
• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• Transfer Learning for Portfolio Optimization [4.031388559887924]
  本稿では,トランスファー学習の最適化フレームワークとして,トランスファーリスク(transfer risk)という新しい概念を導入する。 クロスコンチネント転送,クロスセクタ転送,クロス周波数転送の3つのカテゴリから,一連の数値実験を行う。
  論文  参考訳（メタデータ） (2023-07-25T14:48:54Z)
• Why Does Little Robustness Help? Understanding and Improving Adversarial Transferability from Surrogate Training [24.376314203167016]
  DNNの逆例(AE)は転送可能であることが示されている。 本稿では,敵対的伝達可能性の理解に向けてさらなる一歩を踏み出す。
  論文  参考訳（メタデータ） (2023-07-15T19:20:49Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation [70.85686267987744]
  教師なしのドメイン適応問題は、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することができる。 本稿では、翻訳された知識の謎を視覚的に明らかにする最初の試みとして、教師なしドメイン適応の解釈モデルを提案する。 提案手法は,ベースモデルの予測を直感的に説明し,画像パッチをソースドメインとターゲットドメインの両方で同一のセマンティクスとマッチングすることで伝達知識を公開する。
  論文  参考訳（メタデータ） (2023-03-04T03:02:12Z)
• Phase Transitions in Transfer Learning for High-Dimensional Perceptrons [12.614901374282868]
  伝達学習は、関連するソースタスクから学んだ知識を活用することにより、対象タスクの一般化性能の向上を目指す。 後者の質問は、転送元情報が実際にターゲットタスクの一般化性能を減少させるいわゆる負の転送現象に関連しています。 本稿では,関連する1対のパーセプトロン学習タスクを解析し,転送学習の理論解析を行う。
  論文  参考訳（メタデータ） (2021-01-06T08:29:22Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。