論文の概要: Dynamic Gradient Balancing for Enhanced Adversarial Attacks on Multi-Task Models

• arxiv url: http://arxiv.org/abs/2305.12066v1
• Date: Sat, 20 May 2023 03:07:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 01:06:53.151993
• Title: Dynamic Gradient Balancing for Enhanced Adversarial Attacks on Multi-Task Models
• Title（参考訳）: マルチタスクモデルにおける拡張逆攻撃に対する動的勾配バランス
• Authors: Lijun Zhang, Xiao Liu, Kaleel Mahmood, Caiwen Ding, Hui Guan
• Abstract要約: マルチタスク学習(MTL)は、マルチタスクモデルと呼ばれる単一の機械学習モデルを作成し、複数のタスクを同時に実行する。 マルチタスクモデルにはいくつかの重要なセキュリティ研究課題がある。
• 参考スコア（独自算出の注目度）: 24.88053383873394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning (MTL) creates a single machine learning model called multi-task model to simultaneously perform multiple tasks. Although the security of single task classifiers has been extensively studied, there are several critical security research questions for multi-task models including 1) How secure are multi-task models to single task adversarial machine learning attacks, 2) Can adversarial attacks be designed to attack multiple tasks simultaneously, and 3) Does task sharing and adversarial training increase multi-task model robustness to adversarial attacks? In this paper, we answer these questions through careful analysis and rigorous experimentation. First, we develop na\"ive adaptation of single-task white-box attacks and analyze their inherent drawbacks. We then propose a novel attack framework, Dynamic Gradient Balancing Attack (DGBA). Our framework poses the problem of attacking a multi-task model as an optimization problem based on averaged relative loss change, which can be solved by approximating the problem as an integer linear programming problem. Extensive evaluation on two popular MTL benchmarks, NYUv2 and Tiny-Taxonomy, demonstrates the effectiveness of DGBA compared to na\"ive multi-task attack baselines on both clean and adversarially trained multi-task models. The results also reveal a fundamental trade-off between improving task accuracy by sharing parameters across tasks and undermining model robustness due to increased attack transferability from parameter sharing.
• Abstract（参考訳）: マルチタスク学習(MTL)は、マルチタスクモデルと呼ばれる単一の機械学習モデルを作成し、複数のタスクを同時に実行する。 単一タスク分類器のセキュリティは広く研究されているが、マルチタスクモデルにはいくつかの重要なセキュリティ研究課題がある。 1) マルチタスクモデルによる単一タスク対人機械学習攻撃の安全性 2)複数のタスクを同時に攻撃するように敵の攻撃を設計できる。 3)タスク共有と対人訓練は、対人攻撃に対するマルチタスクモデルロバスト性を高めるか? 本稿では,これらに注意深い分析と厳密な実験を通して答える。 まず,単タスクのホワイトボックス攻撃のna\"ive適応を開発し,それらの固有の欠点を分析する。 次に,新しい攻撃フレームワークである動的勾配バランスアタック(dgba)を提案する。 本フレームワークは、平均相対損失変化に基づく最適化問題としてマルチタスクモデルを攻撃する問題を提起し、整数線形計画問題として問題を近似することで解決する。 2つの人気のあるMTLベンチマークであるNYUv2とTiny-Taxonomyの大規模な評価は、クリーンかつ逆向きに訓練されたマルチタスクモデルにおいて、na\\iveマルチタスク攻撃ベースラインと比較してDGBAの有効性を示す。 また,タスク間のパラメータ共有によるタスク精度の向上と,パラメータ共有による攻撃伝達性の向上によるモデルのロバスト性低下とのトレードオフも明らかにした。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• JiuZhang 2.0: A Unified Chinese Pre-trained Language Model for Multi-task Mathematical Problem Solving [77.51817534090789]
  マルチタスク数学問題の解法を専門とする統一中国語 PLM である textbfJiuZhang2.0 を提案する。 我々の考えは、中規模のモデルを維持し、マルチタスク設定におけるモデル容量を改善するために、Emphcross-taskの知識共有を利用することである。
  論文  参考訳（メタデータ） (2023-06-19T15:45:36Z)
• OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
  ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。 マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
  論文  参考訳（メタデータ） (2022-12-08T17:07:09Z)
• An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems [4.675744559395732]
  マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。 最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。 本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T13:10:47Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Multi-Task Adversarial Attack [3.412750324146571]
  MTA(Multi-Task adversarial Attack)は、複数のタスクの敵例を効率的に作成できる統合されたフレームワークである。 MTAは、全てのタスクのための共有エンコーダと複数のタスク固有のデコーダからなる逆転摂動のジェネレータを使用する。 共有エンコーダのおかげで、MTAはストレージコストを削減し、複数のタスクを同時に攻撃する際の推論を高速化する。
  論文  参考訳（メタデータ） (2020-11-19T13:56:58Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。