論文の概要: Randomized Smoothing with Masked Inference for Adversarially Robust Text Classifications

• arxiv url: http://arxiv.org/abs/2305.06522v1
• Date: Thu, 11 May 2023 01:50:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 16:28:10.666309
• Title: Randomized Smoothing with Masked Inference for Adversarially Robust Text Classifications
• Title（参考訳）: 逆ロバストテキスト分類のためのマスク推論によるランダム化平滑化
• Authors: Han Cheol Moon, Shafiq Joty, Ruochen Zhao, Megh Thakkar, Xu Chi
• Abstract要約: ランダム化平滑化(RS)とマスク推論(MI)を組み合わせた新しい2段階のフレームワークであるRSMIを導入し,NLPシステムの対角的ロバスト性を改善する。 RSは分類器をスムーズな分類器に変換してロバストな表現を得る一方、MIは入力シーケンスでマスクされたトークンの周囲のコンテキストを利用するようにモデルを強制する。 RSMIは、ベンチマークデータセット上の既存の最先端メソッドよりも2倍から3倍の敵の堅牢性を向上する。
• 参考スコア（独自算出の注目度）: 3.6048665052465667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained language models have shown outstanding performance in a variety of NLP tasks. However, they are also known to be significantly brittle against specifically crafted adversarial examples, leading to increasing interest in probing the adversarial robustness of NLP systems. We introduce RSMI, a novel two-stage framework that combines randomized smoothing (RS) with masked inference (MI) to improve the adversarial robustness of NLP systems. RS transforms a classifier into a smoothed classifier to obtain robust representations, whereas MI forces a model to exploit the surrounding context of a masked token in an input sequence. RSMI improves adversarial robustness by 2 to 3 times over existing state-of-the-art methods on benchmark datasets. We also perform in-depth qualitative analysis to validate the effectiveness of the different stages of RSMI and probe the impact of its components through extensive ablations. By empirically proving the stability of RSMI, we put it forward as a practical method to robustly train large-scale NLP models. Our code and datasets are available at https://github.com/Han8931/rsmi_nlp
• Abstract（参考訳）: 大規模事前学習言語モデルは、様々なNLPタスクにおいて優れた性能を示している。 しかし、それらもまた特別に作られた敵の例に対して著しく脆いことが知られており、nlpシステムの敵意の強固さを探究する関心が高まっている。 ランダム化平滑化(RS)とマスク推論(MI)を組み合わせた新しい2段階のフレームワークであるRSMIを導入し,NLPシステムの対角的ロバスト性を改善する。 RSは分類器をスムーズな分類器に変換してロバストな表現を得る一方、MIは入力シーケンスでマスクされたトークンの周囲のコンテキストを利用するようにモデルを強制する。 RSMIは、ベンチマークデータセット上の既存の最先端メソッドよりも2倍から3倍の敵の堅牢性を向上する。 また,RSMIの異なる段階の有効性を検証するための詳細な定性分析を行い,広範囲なアブレーションを通じてその成分の影響を調査する。 RSMIの安定性を実証的に証明することにより,大規模NLPモデルを堅牢に訓練する実践的手法として,これを推し進める。 私たちのコードとデータセットはhttps://github.com/han8931/rsmi_nlpで利用可能です。

関連論文リスト

• Ensemble Methods for Sequence Classification with Hidden Markov Models [8.241486511994202]
  隠れマルコフモデル(HMM)のためのアンサンブル手法を用いたシーケンス分類への軽量なアプローチを提案する。 HMMは、その単純さ、解釈可能性、効率性のために、不均衡または小さいデータセットを持つシナリオにおいて、大きな利点を提供する。 アンサンブルに基づくスコアリング手法により,任意の長さのシーケンスの比較が可能となり,不均衡なデータセットの性能が向上する。
  論文  参考訳（メタデータ） (2024-09-11T20:59:32Z)
• Adversarial Robustness in RGB-Skeleton Action Recognition: Leveraging Attention Modality Reweighter [32.64004722423187]
  RGB-スケルトン行動認識モデルのロバスト性を改善する方法について述べる。 本稿では,formatwordAMR(formatwordAttention-based formatwordModality formatwordReweighter)を提案する。 私たちのAMRはプラグアンドプレイで、マルチモーダルモデルと簡単に統合できます。
  論文  参考訳（メタデータ） (2024-07-29T13:15:51Z)
• MSRS: Training Multimodal Speech Recognition Models from Scratch with Sparse Mask Optimization [49.00754561435518]
  MSRSは、RS3ベンチマークで21.1%と0.9%のWERでVSRとAVSRの競争結果を達成し、トレーニング時間を少なくとも2倍に短縮した。 我々は、他のスパースアプローチを探索し、MSRSだけが、消失する勾配によって影響を受ける重量を暗黙的に隠蔽することで、スクラッチからトレーニングできることを示す。
  論文  参考訳（メタデータ） (2024-06-25T15:00:43Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• Soft Random Sampling: A Theoretical and Empirical Analysis [59.719035355483875]
  ソフトランダムサンプリング(SRS)は、大量のデータを扱う際に、効率的なディープニューラルネットワークに対して単純だが効果的なアプローチである。 それは、各エポックに設定された各データセットから、ランダムに置換された均一な速度を選択する。 実世界の産業規模で重要な競争力を持つ、強力で競争力のある戦略であることが示されている。
  論文  参考訳（メタデータ） (2023-11-21T17:03:21Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning [3.775565013663731]
  IMP (ShRIMP) を用いたスペーサーランダム特徴モデル(スペーサーランダム特徴モデル)を提案する。 提案手法は,2層密集ネットワークにおける疎く宝くじを作成・発見するための複合的なプロセスとみなすことができる。
  論文  参考訳（メタデータ） (2021-12-07T21:32:28Z)
• Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble [163.3333439344695]
  Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。 DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。 我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-20T18:01:16Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。