論文の概要: Why Adversarial Reprogramming Works, When It Fails, and How to Tell the Difference

• arxiv url: http://arxiv.org/abs/2108.11673v1
• Date: Thu, 26 Aug 2021 09:42:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 21:24:33.074465
• Title: Why Adversarial Reprogramming Works, When It Fails, and How to Tell the Difference
• Title（参考訳）: 対人的再プログラミングが機能する理由, 失敗する時期, 相違点の把握方法
• Authors: Yang Zheng, Xiaoyi Feng, Zhaoqiang Xia, Xiaoyue Jiang, Ambra Demontis, Maura Pintor, Battista Biggio, Fabio Roli
• Abstract要約: 敵対的再プログラミングは、異なるタスクを実行するために、機械学習モデルを再購入することを可能にする。 近年の研究では、敵対的再プログラミングは、サービスとして提供される機械学習モデルを悪用するために使われるだけでなく、有益にも使用されることが示されている。
• 参考スコア（独自算出の注目度）: 23.851835951639693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial reprogramming allows repurposing a machine-learning model to perform a different task. For example, a model trained to recognize animals can be reprogrammed to recognize digits by embedding an adversarial program in the digit images provided as input. Recent work has shown that adversarial reprogramming may not only be used to abuse machine-learning models provided as a service, but also beneficially, to improve transfer learning when training data is scarce. However, the factors affecting its success are still largely unexplained. In this work, we develop a first-order linear model of adversarial reprogramming to show that its success inherently depends on the size of the average input gradient, which grows when input gradients are more aligned, and when inputs have higher dimensionality. The results of our experimental analysis, involving fourteen distinct reprogramming tasks, show that the above factors are correlated with the success and the failure of adversarial reprogramming.
• Abstract（参考訳）: 逆再プログラミングは、異なるタスクを実行するために機械学習モデルを再提案することを可能にする。 例えば、動物を認識するために訓練されたモデルは、入力として提供される数字画像に敵対プログラムを埋め込むことで、数字を認識するように書き換えることができる。 近年の研究では、敵対的再プログラミングは、サービスとして提供される機械学習モデルを悪用するだけでなく、トレーニングデータが少ない場合のトランスファー学習を改善するためにも用いられることが示されている。 しかし、その成功に影響を及ぼす要因はほとんど説明されていない。 本研究では,その成功は,入力勾配がより整列し,入力が高次元の場合,平均入力勾配の大きさに依存することを示すために,逆リプログラミングの一階線形モデルを開発した。 14の異なる再プログラミングタスクを含む実験結果から, 上記の要因が, 対人再プログラミングの成功と失敗と相関していることが示唆された。

関連論文リスト

• Do Mice Grok? Glimpses of Hidden Progress During Overtraining in Sensory Cortex [32.79706360108185]
  マウスにおけるこのような学習の証拠は, 動作がほぼ順調に保たれた後, タスクの継続訓練後に見つかる(オーバートレーニング)。 オーバートレーニングの開始時に誤って分類された例は,その間は行動が変化しなかったものの,後から即座に分類できることが実証された。 このモデルが,動物学習における逆転を過剰に学習する経験的パズルについて,どのように説明するかを示す。
  論文  参考訳（メタデータ） (2024-11-05T22:42:49Z)
• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。 以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Music Instrument Classification Reprogrammed [79.68916470119743]
  プログラム」とは、事前学習されたモデルの入力と出力の両方を修正・マッピングすることで、もともと異なるタスクをターゲットにした、事前学習された深層・複雑なニューラルネットワークを利用する手法である。 本研究では,異なるタスクで学習した表現のパワーを効果的に活用できることを実証し,結果として得られた再プログラムシステムは,訓練パラメータのごく一部で,同等あるいはそれ以上の性能を持つシステムでも実行可能であることを実証する。
  論文  参考訳（メタデータ） (2022-11-15T18:26:01Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework [43.76337849044254]
  自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。 様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。 自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:57Z)
• Learning Curves for Sequential Training of Neural Networks: Self-Knowledge Transfer and Forgetting [9.734033555407406]
  我々は,タスクからタスクまでの目標関数を継続的に学習するニューラルネットワークをニューラルネットワークとして検討する。 モデルが複数のタスクで同じターゲット関数を学習する連続学習の変種について検討する。 同じターゲットであっても、トレーニングされたモデルは、各タスクのサンプルサイズに応じて、何らかの転送と忘れを見せる。
  論文  参考訳（メタデータ） (2021-12-03T00:25:01Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。