Fugu-MT 論文翻訳(概要): Achieving Adversarial Robustness Requires An Active Teacher

論文の概要: Achieving Adversarial Robustness Requires An Active Teacher

arxiv url: http://arxiv.org/abs/2012.07233v1
Date: Mon, 14 Dec 2020 03:27:50 GMT
ステータス: 処理完了
システム内更新日: 2021-05-09 10:12:02.077530
Title: Achieving Adversarial Robustness Requires An Active Teacher
Title（参考訳）: 対人ロバスト性を達成するためにはアクティブな教師が必要である
Authors: Chao Ma and Lexing Ying
Abstract要約: 学習データから教師の十分な情報を得ることができないため,敵対的な事例が存在すると主張する。頑健性を実現するためには,生徒に積極的に情報を提供する教師が必要となる。
参考スコア（独自算出の注目度）: 8.193914488276468
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A new understanding of adversarial examples and adversarial robustness is proposed by decoupling the data generator and the label generator (which we call the teacher). In our framework, adversarial robustness is a conditional concept---the student model is not absolutely robust, but robust with respect to the teacher. Based on the new understanding, we claim that adversarial examples exist because the student cannot obtain sufficient information of the teacher from the training data. Various ways of achieving robustness is compared. Theoretical and numerical evidence shows that to efficiently attain robustness, a teacher that actively provides its information to the student may be necessary.
Abstract（参考訳）: 本稿では,データジェネレータとラベルジェネレータ(これを教師と呼ぶ)を分離することにより,逆例と逆ロバスト性の新しい理解を提案する。この枠組みでは, 対人的堅牢性は条件的概念であり, 生徒モデルは絶対的に堅牢ではなく, 教師に対して堅牢である。新たな理解に基づき,学習データから教師の十分な情報を得ることができないため,敵対的な事例が存在すると主張する。堅牢性を達成するための様々な方法が比較される。理論的および数値的な証拠は、効果的に堅牢性を得るためには、生徒に積極的に情報を提供する教師が必要であることを示している。

関連論文リスト

Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
頑健さは逆行訓練を受けた教師から知識蒸留を用いて生徒モデルに移行できる異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
論文参考訳（メタデータ） (2024-02-23T19:55:13Z)
Good Teachers Explain: Explanation-Enhanced Knowledge Distillation [52.498055901649025]
知識蒸留(KD)は、大規模な教師モデルをより小さな学生モデルに圧縮するのに有効であることが証明されている。本研究は,古典的KD損失を最適化するだけでなく,教師と生徒が生み出す説明の類似性についても検討する。シンプルで直感的なアイデアであるにもかかわらず、提案した「説明強調」KDは、精度と生徒と教師の合意の点で、一貫して大きな利益をもたらしている。
論文参考訳（メタデータ） (2024-02-05T15:47:54Z)
Can Language Models Teach Weaker Agents? Teacher Explanations Improve Students via Personalization [84.86241161706911]
教師のLLMは、実際に生徒の推論に介入し、パフォーマンスを向上させることができることを示す。また,マルチターンインタラクションでは,教師による説明が一般化され,説明データから学習されることを示す。教師のミスアライメントが学生の成績をランダムな確率に低下させることを、意図的に誤解させることで検証する。
論文参考訳（メタデータ） (2023-06-15T17:27:20Z)
Faithful Knowledge Distillation [75.59907631395849]
i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
論文参考訳（メタデータ） (2023-06-07T13:41:55Z)
Generating robust counterfactual explanations [60.32214822437734]
カウンターファクトの質は、現実主義、行動可能性、妥当性、堅牢性など、いくつかの基準に依存する。本稿では, 対実的入力変化に対するロバスト性に着目し, 対実的入力変化に対するロバスト性に着目した。我々は,このトレードオフを効果的に管理し,ユーザに対して最小限の堅牢性を保証するとともに,ロバストなデファクトを生成する新しいフレームワークであるCROCOを提案する。
論文参考訳（メタデータ） (2023-04-24T09:00:31Z)
Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。知識蒸留は教師から知識を抽出し、対象モデルと統合する。教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
論文参考訳（メタデータ） (2022-05-04T06:49:47Z)
On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文参考訳（メタデータ） (2022-03-14T15:02:13Z)
Understanding Robustness in Teacher-Student Setting: A New Perspective [42.746182547068265]
適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
論文参考訳（メタデータ） (2021-02-25T20:54:24Z)
Privacy-Preserving Teacher-Student Deep Reinforcement Learning [23.934121758649052]
教師のトレーニングデータセットのプライバシーを保護するプライベートなメカニズムを開発しています。このアルゴリズムは学生の集中率と実用性を改善することを実証的に示した。
論文参考訳（メタデータ） (2021-02-18T20:15:09Z)
FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries [2.7564955518050693]
教師モデルと直接対話することなく,個人情報を漏らしたり推測したりできるかどうかを検討する。集約レベル情報から推測する新しい手法を提案する。本研究は,情報漏洩が現実の状況で広く利用されている伝達学習フレームワークに対する真のプライバシー上の脅威であることを示す。
論文参考訳（メタデータ） (2020-10-27T03:02:40Z)
Feature Distillation With Guided Adversarial Contrastive Learning [41.28710294669751]
本研究は,教師から生徒へ対人ロバスト性を伝えるためのGACD ( Guided Adversarial Contrastive Distillation) を提案する。アンカーとして訓練された教師モデルでは,教師に類似した特徴を抽出することが期待されている。 GACDでは、生徒は頑丈な特徴を抽出することを学ぶだけでなく、教師からの構造的知識も取得する。
論文参考訳（メタデータ） (2020-09-21T14:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。