論文の概要: Exploring and Improving Robustness of Multi Task Deep Neural Networks via Domain Agnostic Defenses

• arxiv url: http://arxiv.org/abs/2001.05286v1
• Date: Sat, 11 Jan 2020 18:05:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 09:35:30.078985
• Title: Exploring and Improving Robustness of Multi Task Deep Neural Networks via Domain Agnostic Defenses
• Title（参考訳）: ドメイン非依存防御によるマルチタスク深層ニューラルネットワークのロバスト性の探索と改善
• Authors: Kashyap Coimbatore Murali
• Abstract要約: マルチタスクディープニューラルネットワークは、ひとつのタスクでのみトレーニングされたバニラBERTモデルよりも堅牢であることを示す。 汎用ディフェンスやオフザシェルフのスペルチェッカーとは対照的に,モデルの精度(それぞれ36.75%,25.94%)を復元するドメインディフェンスを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore the robustness of the Multi-Task Deep Neural Networks (MT-DNN) against non-targeted adversarial attacks across Natural Language Understanding (NLU) tasks as well as some possible ways to defend against them. Liu et al., have shown that the Multi-Task Deep Neural Network, due to the regularization effect produced when training as a result of its cross task data, is more robust than a vanilla BERT model trained only on one task (1.1%-1.5% absolute difference). We further show that although the MT-DNN has generalized better, making it easily transferable across domains and tasks, it can still be compromised as after only 2 attacks (1-character and 2-character) the accuracy drops by 42.05% and 32.24% for the SNLI and SciTail tasks. Finally, we propose a domain agnostic defense which restores the model's accuracy (36.75% and 25.94% respectively) as opposed to a general-purpose defense or an off-the-shelf spell checker.
• Abstract（参考訳）: 本稿では,多タスク深層ニューラルネットワーク(mt-dnn)の自然言語理解(nlu)タスクにまたがる非標的敵攻撃に対する頑健性や,それらに対する防御方法について検討する。 Liuらによると、マルチタスクディープニューラルネットワークは、クロスタスクデータによってトレーニング時に発生する正規化効果により、1つのタスクでのみトレーニングされたバニラBERTモデルよりも堅牢である(1.1%-1.5%の絶対差)。 さらに、MT-DNNはより一般化されており、ドメインやタスク間で簡単に転送可能であるが、SNLIタスクとSciTailタスクの精度が42.05%、32.24%低下した2つの攻撃(1文字と2文字)の後に、妥協可能であることも示している。 最後に,汎用防衛や市販スペルチェッカーとは対照的に,モデルの精度(それぞれ36.75%,25.94%)を回復するドメイン非依存防御を提案する。

関連論文リスト

• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Quantization Aware Attack: Enhancing Transferable Adversarial Attacks by Model Quantization [57.87950229651958]
  量子ニューラルネットワーク(QNN)は、異常な一般化性のため、リソース制約のあるシナリオに注目が集まっている。 従来の研究では、ビット幅の異なるQNN間で転送性を実現することは困難であった。 マルチビット学習目的のQNN代替モデルを微調整するテキスト品質認識攻撃(QAA)を提案する。
  論文  参考訳（メタデータ） (2023-05-10T03:46:53Z)
• Sneaky Spikes: Uncovering Stealthy Backdoor Attacks in Spiking Neural Networks with Neuromorphic Data [15.084703823643311]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の向上と生物学的に有効なデータ処理機能を提供する。 本稿では,ニューロモルフィックデータセットと多様なトリガーを用いたSNNのバックドア攻撃について検討する。 我々は,攻撃成功率を100%まで達成しつつ,クリーンな精度に無視できる影響を保ちながら,様々な攻撃戦略を提示する。
  論文  参考訳（メタデータ） (2023-02-13T11:34:17Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• ODG-Q: Robust Quantization via Online Domain Generalization [9.25177374431812]
  低ビット幅へのニューラルネットワークの量子化は、リソース制限エッジハードウェア上のモデル展開において重要である。 本稿では,ロバスト量子化をオンライン領域一般化問題(ODG-Q)として再キャストする手法を提案する。 ODG-Qは、様々な敵の攻撃に対して、既存の作業よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-10-17T02:25:28Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• A Mask-Based Adversarial Defense Scheme [3.759725391906588]
  敵対的攻撃はディープニューラルネットワーク(DNN)の機能と精度を妨げる 敵攻撃による負の効果を軽減するため,DNNのためのMask-based Adversarial Defense scheme (MAD)を提案する。
  論文  参考訳（メタデータ） (2022-04-21T12:55:27Z)
• Defending Active Directory by Combining Neural Network based Dynamic Program and Evolutionary Diversity Optimisation [14.326083603965278]
  我々は、AD攻撃グラフ上で、1人の攻撃者と1人のディフェンダーの間でスタックルバーグのゲームモデルを研究する。 攻撃者は発見される前に目的地に到達する確率を最大化する。 ディフェンダーの任務は、攻撃者が成功する確率を減らすために、一定数のエッジをブロックすることである。
  論文  参考訳（メタデータ） (2022-04-07T12:36:11Z)
• Identifying Suitable Tasks for Inductive Transfer Through the Analysis of Feature Attributions [78.55044112903148]
  我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。 提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
  論文  参考訳（メタデータ） (2022-02-02T15:51:07Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。