論文の概要: Robust Encodings: A Framework for Combating Adversarial Typos
- arxiv url: http://arxiv.org/abs/2005.01229v1
- Date: Mon, 4 May 2020 01:28:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 00:20:05.158883
- Title: Robust Encodings: A Framework for Combating Adversarial Typos
- Title(参考訳): Robust Encodings: 対立型タイポを議論するためのフレームワーク
- Authors: Erik Jones, Robin Jia, Aditi Raghunathan, and Percy Liang
- Abstract要約: NLPシステムは入力の小さな摂動によって容易に騙される。
このような混乱に対して防御するための既存の手順は、最悪の場合の攻撃に対して確実な堅牢性を提供する。
モデルアーキテクチャに妥協を加えることなく、ロバスト性を保証するロブエン(RobEn)を導入します。
- 参考スコア(独自算出の注目度): 85.70270979772388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite excellent performance on many tasks, NLP systems are easily fooled by
small adversarial perturbations of inputs. Existing procedures to defend
against such perturbations are either (i) heuristic in nature and susceptible
to stronger attacks or (ii) provide guaranteed robustness to worst-case
attacks, but are incompatible with state-of-the-art models like BERT. In this
work, we introduce robust encodings (RobEn): a simple framework that confers
guaranteed robustness, without making compromises on model architecture. The
core component of RobEn is an encoding function, which maps sentences to a
smaller, discrete space of encodings. Systems using these encodings as a
bottleneck confer guaranteed robustness with standard training, and the same
encodings can be used across multiple tasks. We identify two desiderata to
construct robust encoding functions: perturbations of a sentence should map to
a small set of encodings (stability), and models using encodings should still
perform well (fidelity). We instantiate RobEn to defend against a large family
of adversarial typos. Across six tasks from GLUE, our instantiation of RobEn
paired with BERT achieves an average robust accuracy of 71.3% against all
adversarial typos in the family considered, while previous work using a
typo-corrector achieves only 35.3% accuracy against a simple greedy attack.
- Abstract(参考訳): 多くのタスクにおける優れた性能にもかかわらず、NLPシステムは入力の小さな対向摂動によって容易に騙される。
このような混乱から守るための既存の手順は、どちらかである
一 自然界のヒューリスティックで、より強い攻撃を受けやすいこと
(ii)最悪のケース攻撃に対して確実な堅牢性を提供するが、BERTのような最先端モデルと互換性がない。
本稿では,ロバストエンコーディング(RobEn):モデルアーキテクチャに妥協を加えることなく,ロバスト性を保証するシンプルなフレームワークを紹介する。
robenの中核となるコンポーネントは、文をより小さく離散的なエンコーディング空間にマッピングするエンコーディング関数である。
これらのエンコーディングをボトルネックとして使用するシステムは、標準トレーニングによる堅牢性を保証し、同じエンコーディングを複数のタスクで使用できる。
文の摂動は、小さなエンコーディング(安定性)のセットにマッピングされるべきであり、エンコーディングを用いたモデルは、依然としてうまく機能する(忠実性)。
我々はRobEnを敵のタイプミスの大家族から守るようインスタンス化する。
GLUEの6つのタスクのうち、BERTと組み合わせたRobEnのインスタンス化は、家族内の全ての敵のタイプミスに対して平均71.3%の堅牢な精度を達成する一方、タイポコレクターを用いた以前の研究は、単純なグレディ攻撃に対してわずか35.3%の精度しか達成していない。
関連論文リスト
- Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。
しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。
本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
論文 参考訳(メタデータ) (2024-05-24T04:35:13Z) - Fully Randomized Pointers [7.1754940591892735]
本稿では, ブルート力攻撃にも耐えうるメモリエラー対策として, FRP(Fully Randomized Pointers)を提案する。
鍵となるアイデアは、ポインタビット(可能な限り)を完全にランダムにし、バイナリ互換性を維持することです。
FRPはバイナリレベルでは安全で実用的で互換性があり、ハードウェア実装では性能上のオーバーヘッドが低いことを示す。
論文 参考訳(メタデータ) (2024-05-21T05:54:27Z) - Defending Large Language Models against Jailbreak Attacks via Semantic
Smoothing [107.97160023681184]
適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。
提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
論文 参考訳(メタデータ) (2024-02-25T20:36:03Z) - Low-Weight High-Distance Error Correcting Fermionic Encodings [0.0]
誤り訂正特性を持つ実効的なフェルミオン・ツー・キュービット符号化を探索する。
安定化器と論理演算子の重みを著しく改善する有望な高距離符号化を複数報告する。
論文 参考訳(メタデータ) (2024-02-23T15:32:57Z) - Speculative Contrastive Decoding [55.378200871224074]
大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。
投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
論文 参考訳(メタデータ) (2023-11-15T14:15:30Z) - Anti-LM Decoding for Zero-shot In-context Machine Translation [59.26037416204157]
本研究は, 文脈内機械翻訳の弱点に対処するために, 減衰係数を付加したアンチランゲージモデルを提案する。
3つのモデルタイプとサイズ,3つの言語方向,およびグリージーデコーディングとビームサーチの両方に対して実験を行う。
論文 参考訳(メタデータ) (2023-11-14T17:09:43Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-08-01T06:16:18Z) - On the Adversarial Robustness of Generative Autoencoders in the Latent
Space [22.99128324197949]
本稿では,潜在空間における生成自己エンコーダの対角強靭性に関する最初の研究について述べる。
具体的には、潜伏空間における攻撃を通じて、一般的な生成オートエンコーダの潜伏する脆弱性を実証的に示す。
敵の強靭性と潜伏符号の絡み合いの程度との潜在的なトレードオフを同定する。
論文 参考訳(メタデータ) (2023-07-05T10:53:49Z) - NBcoded: network attack classifiers based on Encoder and Naive Bayes
model for resource limited devices [0.0]
NBcodedは、新しい光攻撃分類ツールである。
この研究は、3つの異なるネイブベイズ確率分布仮定に基づく3つの異なるNBcoded実装を比較する。
我々の実装は、トレーニング時間とディスク使用量の影響を減らす最良のモデルであることが示されています。
論文 参考訳(メタデータ) (2021-09-15T13:21:23Z) - Double Backpropagation for Training Autoencoders against Adversarial
Attack [15.264115499966413]
本稿では,オートエンコーダに対する敵攻撃に着目した。
本稿では,VAE や DRAW などのオートエンコーダを確保するために,二重バックプロパゲーション (DBP) を採用することを提案する。
論文 参考訳(メタデータ) (2020-03-04T05:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。