論文の概要: Improving robustness of language models from a geometry-aware perspective

• arxiv url: http://arxiv.org/abs/2204.13309v1
• Date: Thu, 28 Apr 2022 07:07:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-30 02:59:48.366960
• Title: Improving robustness of language models from a geometry-aware perspective
• Title（参考訳）: 幾何学的視点から見た言語モデルの堅牢性向上
• Authors: Bin Zhu, Zhaoquan Gu, Le Wang, Jinyin Chen, Qi Xuan
• Abstract要約: 少ないステップで効率的に強靭性を得る。 本稿では,友好的な敵対データを生成するために,友好的な敵対データ拡張(FADA)を提案する。 そこで本研究では,FADA上に位置認識型対角訓練(GAT)を導入し,友好的対角データに対する対角訓練を行う。
• 参考スコア（独自算出の注目度）: 26.00766188904812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have found that removing the norm-bounded projection and increasing search steps in adversarial training can significantly improve robustness. However, we observe that a too large number of search steps can hurt accuracy. We aim to obtain strong robustness efficiently using fewer steps. Through a toy experiment, we find that perturbing the clean data to the decision boundary but not crossing it does not degrade the test accuracy. Inspired by this, we propose friendly adversarial data augmentation (FADA) to generate friendly adversarial data. On top of FADA, we propose geometry-aware adversarial training (GAT) to perform adversarial training on friendly adversarial data so that we can save a large number of search steps. Comprehensive experiments across two widely used datasets and three pre-trained language models demonstrate that GAT can obtain stronger robustness via fewer steps. In addition, we provide extensive empirical results and in-depth analyses on robustness to facilitate future studies.
• Abstract（参考訳）: 近年の研究では、ノルム境界射影の除去と対向訓練における探索ステップの増大がロバスト性を大幅に改善することが示されている。 しかし,探索手順が多すぎると精度が低下する可能性がある。 少ないステップで効率的に強靭性を得る。 おもちゃの実験を通して、クリーンなデータを決定境界に摂動させるが、それを渡さないことは、テスト精度を劣化させるものではない。 そこで我々は,親和性のある敵対データを生成するために,親和性のある敵対データ拡張(FADA)を提案する。 また,FADA上では,幾何対応の敵対的訓練(GAT)を提案し,友好的な敵対的データに対する敵対的訓練を行い,多数の探索ステップを省く。 2つの広く使われているデータセットと3つの事前訓練された言語モデルにわたる総合的な実験は、GATがより少ないステップで強力な堅牢性を得ることができることを示した。 さらに,今後の研究を促進するために,実験結果とロバスト性に関する詳細な分析を行った。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Adversarial Robust Memory-Based Continual Learner [32.70573627856543]
  本研究では,新しい対向型頑健なメモリベース連続学習システムを提案する。 我々は, 限られた格納データによる勾配難読化を克服するために, 勾配に基づくデータ選択機構を考案した。 Split-CIFAR10/100 と Split-Tiny-ImageNet による実験では,敵データに対する最大8.13%の精度を実現し,本手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-11-29T13:05:20Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• A Comprehensive Study of the Robustness for LiDAR-based 3D Object Detectors against Adversarial Attacks [84.10546708708554]
  3Dオブジェクト検出器は、セキュリティクリティカルなタスクにおいてますます重要になっている。 敵の攻撃に対する強固さを理解することが不可欠である。 本稿では,LiDARをベースとした3次元検出器の対角攻撃時のロバスト性評価と解析を行った。
  論文  参考訳（メタデータ） (2022-12-20T13:09:58Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Adversarial Attack Driven Data Augmentation for Accurate And Robust Medical Image Segmentation [0.0]
  本稿では,対戦型学習攻撃手法を導入することで,新たな拡張手法を提案する。 また、データ拡張のためのFGSMとは逆の方式で機能する逆FGSMの概念も導入した。 実験の総合的な分析は、頑健さの強化とともに、敵対的機械学習の新たな利用を示唆している。
  論文  参考訳（メタデータ） (2021-05-25T17:44:19Z)
• Geometry-aware Instance-reweighted Adversarial Training [78.70024866515756]
  敵対的機械学習では、堅牢性と正確性がお互いを傷つけるという共通の信念があった。 本稿では,自然データ点の攻撃がいかに難しいかに基づいて,幾何対応のインスタンス再重み付き対向訓練を提案する。 実験の結果,本提案は標準的な対人訓練の堅牢性を高めることが示唆された。
  論文  参考訳（メタデータ） (2020-10-05T01:33:11Z)
• Improving the affordability of robustness training for DNNs [11.971637253035107]
  逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。 提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-02-11T07:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。