Fugu-MT 論文翻訳(概要): Robust Encodings: A Framework for Combating Adversarial Typos

論文の概要: Robust Encodings: A Framework for Combating Adversarial Typos

arxiv url: http://arxiv.org/abs/2005.01229v1
Date: Mon, 4 May 2020 01:28:18 GMT
ステータス: 処理完了
システム内更新日: 2022-12-07 00:20:05.158883
Title: Robust Encodings: A Framework for Combating Adversarial Typos
Title（参考訳）: Robust Encodings: 対立型タイポを議論するためのフレームワーク
Authors: Erik Jones, Robin Jia, Aditi Raghunathan, and Percy Liang
Abstract要約: NLPシステムは入力の小さな摂動によって容易に騙される。このような混乱に対して防御するための既存の手順は、最悪の場合の攻撃に対して確実な堅牢性を提供する。モデルアーキテクチャに妥協を加えることなく、ロバスト性を保証するロブエン(RobEn)を導入します。
参考スコア（独自算出の注目度）: 85.70270979772388
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite excellent performance on many tasks, NLP systems are easily fooled by small adversarial perturbations of inputs. Existing procedures to defend against such perturbations are either (i) heuristic in nature and susceptible to stronger attacks or (ii) provide guaranteed robustness to worst-case attacks, but are incompatible with state-of-the-art models like BERT. In this work, we introduce robust encodings (RobEn): a simple framework that confers guaranteed robustness, without making compromises on model architecture. The core component of RobEn is an encoding function, which maps sentences to a smaller, discrete space of encodings. Systems using these encodings as a bottleneck confer guaranteed robustness with standard training, and the same encodings can be used across multiple tasks. We identify two desiderata to construct robust encoding functions: perturbations of a sentence should map to a small set of encodings (stability), and models using encodings should still perform well (fidelity). We instantiate RobEn to defend against a large family of adversarial typos. Across six tasks from GLUE, our instantiation of RobEn paired with BERT achieves an average robust accuracy of 71.3% against all adversarial typos in the family considered, while previous work using a typo-corrector achieves only 35.3% accuracy against a simple greedy attack.
Abstract（参考訳）: 多くのタスクにおける優れた性能にもかかわらず、NLPシステムは入力の小さな対向摂動によって容易に騙される。このような混乱から守るための既存の手順は、どちらかである一自然界のヒューリスティックで、より強い攻撃を受けやすいこと (ii)最悪のケース攻撃に対して確実な堅牢性を提供するが、BERTのような最先端モデルと互換性がない。本稿では,ロバストエンコーディング(RobEn):モデルアーキテクチャに妥協を加えることなく,ロバスト性を保証するシンプルなフレームワークを紹介する。 robenの中核となるコンポーネントは、文をより小さく離散的なエンコーディング空間にマッピングするエンコーディング関数である。これらのエンコーディングをボトルネックとして使用するシステムは、標準トレーニングによる堅牢性を保証し、同じエンコーディングを複数のタスクで使用できる。文の摂動は、小さなエンコーディング(安定性)のセットにマッピングされるべきであり、エンコーディングを用いたモデルは、依然としてうまく機能する(忠実性)。我々はRobEnを敵のタイプミスの大家族から守るようインスタンス化する。 GLUEの6つのタスクのうち、BERTと組み合わせたRobEnのインスタンス化は、家族内の全ての敵のタイプミスに対して平均71.3%の堅牢な精度を達成する一方、タイポコレクターを用いた以前の研究は、単純なグレディ攻撃に対してわずか35.3%の精度しか達成していない。

関連論文リスト

Unitary Multi-Margin BERT for Robust Natural Language Processing [0.0]
近年のディープラーニングに対する敵対的攻撃は、多くのミッションクリティカル自然言語処理(NLP)システムを搾取の危険にさらしている。本稿では,計算効率のよい対角防御手法の欠如に対処するため,一元重みとマルチマージン損失を組み合わせることにより,変換器(BERT)からの双方向表現の堅牢性を大幅に向上させる,新しい普遍的手法を報告する。統一マルチマージンBERT (UniBERT) は,攻撃後分類の精度を5.3%から73.8%向上させ,競争前の精度を維持した。
論文参考訳（メタデータ） (2024-10-16T17:30:58Z)
Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
論文参考訳（メタデータ） (2024-05-24T04:35:13Z)
Fully Randomized Pointers [7.1754940591892735]
本稿では, ブルート力攻撃にも耐えうるメモリエラー対策として, FRP(Fully Randomized Pointers)を提案する。鍵となるアイデアは、ポインタビット(可能な限り)を完全にランダムにし、バイナリ互換性を維持することです。 FRPはバイナリレベルでは安全で実用的で互換性があり、ハードウェア実装では性能上のオーバーヘッドが低いことを示す。
論文参考訳（メタデータ） (2024-05-21T05:54:27Z)
Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
論文参考訳（メタデータ） (2024-02-25T20:36:03Z)
Low-Weight High-Distance Error Correcting Fermionic Encodings [0.0]
誤り訂正特性を持つ実効的なフェルミオン・ツー・キュービット符号化を探索する。安定化器と論理演算子の重みを著しく改善する有望な高距離符号化を複数報告する。
論文参考訳（メタデータ） (2024-02-23T15:32:57Z)
Speculative Contrastive Decoding [55.378200871224074]
大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
論文参考訳（メタデータ） (2023-11-15T14:15:30Z)
Anti-LM Decoding for Zero-shot In-context Machine Translation [59.26037416204157]
本研究は, 文脈内機械翻訳の弱点に対処するために, 減衰係数を付加したアンチランゲージモデルを提案する。 3つのモデルタイプとサイズ,3つの言語方向,およびグリージーデコーディングとビームサーチの両方に対して実験を行う。
論文参考訳（メタデータ） (2023-11-14T17:09:43Z)
Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-08-01T06:16:18Z)
On the Adversarial Robustness of Generative Autoencoders in the Latent Space [22.99128324197949]
本稿では,潜在空間における生成自己エンコーダの対角強靭性に関する最初の研究について述べる。具体的には、潜伏空間における攻撃を通じて、一般的な生成オートエンコーダの潜伏する脆弱性を実証的に示す。敵の強靭性と潜伏符号の絡み合いの程度との潜在的なトレードオフを同定する。
論文参考訳（メタデータ） (2023-07-05T10:53:49Z)
Double Backpropagation for Training Autoencoders against Adversarial Attack [15.264115499966413]
本稿では,オートエンコーダに対する敵攻撃に着目した。本稿では,VAE や DRAW などのオートエンコーダを確保するために,二重バックプロパゲーション (DBP) を採用することを提案する。
論文参考訳（メタデータ） (2020-03-04T05:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。