論文の概要: Certified Robustness to Programmable Transformations in LSTMs
- arxiv url: http://arxiv.org/abs/2102.07818v1
- Date: Mon, 15 Feb 2021 19:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 15:01:57.564859
- Title: Certified Robustness to Programmable Transformations in LSTMs
- Title(参考訳): LSTMにおけるプログラマブル変換に対する認証ロバスト性
- Authors: Yuhao Zhang, Aws Albarghouthi, Loris D'Antoni
- Abstract要約: 自然言語処理のためのディープニューラルネットワークは、逆の例に直面して脆弱である。
本稿では,LSTMを効率よく検証可能な拡張LSTMの認証手法を提案する。
- 参考スコア(独自算出の注目度): 14.587069421684157
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks for natural language processing are fragile in the face
of adversarial examples--small input perturbations, like synonym substitution
or word duplication, which cause a neural network to change its prediction. We
present an approach to certifying the robustness of LSTMs (and extensions of
LSTMs) and training models that can be efficiently certified. Our approach can
certify robustness to intractably large perturbation spaces defined
programmatically in a language of string transformations.
The key insight of our approach is an application of abstract interpretation
that exploits recursive LSTM structure to incrementally propagate symbolic sets
of inputs, compactly representing a large perturbation space. Our evaluation
shows that (1) our approach can train models that are more robust to
combinations of string transformations than those produced using existing
techniques; (2) our approach can show high certification accuracy of the
resulting models.
- Abstract(参考訳): 自然言語処理のための深いニューラルネットワークは、逆の例に直面して脆弱である - シノニム置換や単語重複などの小さな入力摂動は、ニューラルネットワークがその予測を変更する原因となる。
本稿では,LSTM(およびLSTMの拡張)の堅牢性を検証し,効率よく検証可能なトレーニングモデルを提案する。
本手法は,文字列変換の言語でプログラム的に定義される大きな摂動空間に対するロバスト性を証明することができる。
提案手法の重要な洞察は、再帰的LSTM構造を利用した抽象解釈の応用であり、インプットのシンボリックな集合を漸進的に伝播させ、大きな摂動空間をコンパクトに表現する。
本研究では,(1)既存の手法と比べ,文字列変換の組み合わせに強靭なモデルを訓練できること,(2)得られたモデルを高い認証精度で評価できること,を評価した。
関連論文リスト
- Learning Disentangled Semantic Spaces of Explanations via Invertible
Neural Networks [0.0]
本研究では、フローベース可逆ニューラルネットワーク(INN)のサポートにより、BERT-GPT2オートエンコーダの隠れた空間をより分離可能なセマンティック空間に変換する手法を提案する。
実験結果から,IDNは分散した隠れ空間を意味的に不整合な潜在空間に変換し,最近の最先端モデルと比較した場合,解釈性や制御性が向上することが示唆された。
論文 参考訳(メタデータ) (2023-05-02T18:27:13Z) - A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A
Transformer-based Approach [0.0]
我々は,従来の技術とトランスフォーマー技術の両方を用いて,米国特許法とPhrase Matchingデータセットのセマンティック類似性解析とモデリングを行う。
実験の結果,従来の手法と比較して手法の性能が向上し,平均ピアソン相関スコアは0.79。
論文 参考訳(メタデータ) (2022-07-24T11:06:56Z) - GSmooth: Certified Robustness against Semantic Transformations via
Generalized Randomized Smoothing [40.38555458216436]
一般的な意味変換に対する堅牢性を証明するための統一的な理論的枠組みを提案する。
GSmoothフレームワークでは,画像と画像の代理ネットワークを用いて複雑な変換を近似するスケーラブルなアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-06-09T07:12:17Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-02-02T23:54:26Z) - Semantic Correspondence with Transformers [68.37049687360705]
本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。
初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。
提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
論文 参考訳(メタデータ) (2021-06-04T14:39:03Z) - SML: a new Semantic Embedding Alignment Transformer for efficient
cross-lingual Natural Language Inference [71.57324258813674]
トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。
nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。
本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
論文 参考訳(メタデータ) (2021-03-17T13:23:53Z) - Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。
我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。
このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
論文 参考訳(メタデータ) (2020-08-07T11:02:07Z) - Automated and Formal Synthesis of Neural Barrier Certificates for
Dynamical Models [70.70479436076238]
バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。
このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。
その結果,音のBCsを最大2桁の速度で合成できることがわかった。
論文 参考訳(メタデータ) (2020-07-07T07:39:42Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。