論文の概要: Understanding Robustness in Teacher-Student Setting: A New Perspective

• arxiv url: http://arxiv.org/abs/2102.13170v2
• Date: Mon, 1 Mar 2021 03:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-02 12:46:25.900331
• Title: Understanding Robustness in Teacher-Student Setting: A New Perspective
• Title（参考訳）: 教師-学生設定におけるロバストさの理解:新しい視点
• Authors: Zhuolin Yang, Zhaoxi Chen, Tiffany Cai, Xinyun Chen, Bo Li, Yuandong Tian
• Abstract要約: 適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。 広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。 我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
• 参考スコア（独自算出の注目度）: 42.746182547068265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial examples have appeared as a ubiquitous property of machine learning models where bounded adversarial perturbation could mislead the models to make arbitrarily incorrect predictions. Such examples provide a way to assess the robustness of machine learning models as well as a proxy for understanding the model training process. Extensive studies try to explain the existence of adversarial examples and provide ways to improve model robustness (e.g. adversarial training). While they mostly focus on models trained on datasets with predefined labels, we leverage the teacher-student framework and assume a teacher model, or oracle, to provide the labels for given instances. We extend Tian (2019) in the case of low-rank input data and show that student specialization (trained student neuron is highly correlated with certain teacher neuron at the same layer) still happens within the input subspace, but the teacher and student nodes could differ wildly out of the data subspace, which we conjecture leads to adversarial examples. Extensive experiments show that student specialization correlates strongly with model robustness in different scenarios, including student trained via standard training, adversarial training, confidence-calibrated adversarial training, and training with robust feature dataset. Our studies could shed light on the future exploration about adversarial examples, and enhancing model robustness via principled data augmentation.
• Abstract（参考訳）: 逆の例は機械学習モデルのユビキタスな性質として現れており、有界な逆の摂動はモデルを誤った誤った予測に導く可能性がある。 このような例は、機械学習モデルの堅牢性を評価する方法と、モデルトレーニングプロセスを理解するためのプロキシを提供します。 広範な研究は、逆例の存在を説明し、モデルの堅牢性を改善する方法を提供することを試みる(例)。 対人訓練)。 彼らは主に、事前に定義されたラベルを持つデータセットで訓練されたモデルに焦点を当てていますが、教師-学生フレームワークを活用し、特定のインスタンスにラベルを提供するために教師モデル、またはオラクルを仮定します。 我々は、低ランク入力データの場合、Tian(2019)を拡張し、入力サブスペース内で学生の専門化(訓練された学生ニューロンと同一層における特定の教師ニューロンとの相関性が高い)が引き続き起こることを示すが、教師と学生ノードはデータサブスペースから大きく異なっており、それが逆の例につながると推測する。 広範な実験により、学生の専門性は、標準トレーニング、敵対的トレーニング、信頼度調整された敵対的トレーニング、堅牢な機能データセットによるトレーニングなど、さまざまなシナリオにおけるモデル堅牢性と強く相関することを示しています。 我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。

関連論文リスト

• UnLearning from Experience to Avoid Spurious Correlations [3.283369870504872]
  我々は,突発的相関の問題に対処する新しいアプローチを提案する: 経験から学ぶ(ULE) 本手法は,生徒モデルと教師モデルという,並列に訓練された2つの分類モデルを用いた。 提案手法は,Waterbirds,CelebA,Spawrious,UrbanCarsの各データセットに有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-04T15:06:44Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• Quantifying and Mitigating Privacy Risks of Contrastive Learning [4.909548818641602]
  我々は、会員推定と属性推論のレンズを通して、コントラスト学習の最初のプライバシ分析を行う。 その結果,コントラストモデルではメンバシップ推論攻撃に弱いが,教師付きモデルに比べて属性推論攻撃に弱いことが示唆された。 この状況を改善するため,プライバシ保護型コントラスト学習機構であるTalosを提案する。
  論文  参考訳（メタデータ） (2021-02-08T11:38:11Z)
• FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries [2.7564955518050693]
  教師モデルと直接対話することなく,個人情報を漏らしたり推測したりできるかどうかを検討する。 集約レベル情報から推測する新しい手法を提案する。 本研究は,情報漏洩が現実の状況で広く利用されている伝達学習フレームワークに対する真のプライバシー上の脅威であることを示す。
  論文  参考訳（メタデータ） (2020-10-27T03:02:40Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。