論文の概要: Robustness to Programmable String Transformations via Augmented Abstract Training

• arxiv url: http://arxiv.org/abs/2002.09579v4
• Date: Wed, 2 Sep 2020 14:41:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 18:43:24.286138
• Title: Robustness to Programmable String Transformations via Augmented Abstract Training
• Title（参考訳）: Augmented Abstract Trainingによるプログラマブル文字列変換のロバスト性
• Authors: Yuhao Zhang, Aws Albarghouthi, Loris D'Antoni
• Abstract要約: 深い言語処理タスクは、逆入力の摂動に弱い。 ユーザ定義文字列変換の集合を2つのコンポーネント仕様に分解する方法を示す。 我々は、AG2データセットとSST2データセットのモデルをトレーニングするために、我々の技術を使用します。
• 参考スコア（独自算出の注目度）: 15.44806926189642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks for natural language processing tasks are vulnerable to adversarial input perturbations. In this paper, we present a versatile language for programmatically specifying string transformations -- e.g., insertions, deletions, substitutions, swaps, etc. -- that are relevant to the task at hand. We then present an approach to adversarially training models that are robust to such user-defined string transformations. Our approach combines the advantages of search-based techniques for adversarial training with abstraction-based techniques. Specifically, we show how to decompose a set of user-defined string transformations into two component specifications, one that benefits from search and another from abstraction. We use our technique to train models on the AG and SST2 datasets and show that the resulting models are robust to combinations of user-defined transformations mimicking spelling mistakes and other meaning-preserving transformations.
• Abstract（参考訳）: 自然言語処理タスクのためのディープニューラルネットワークは、逆入力摂動に対して脆弱である。 本稿では,手元のタスクに関連する文字列変換(挿入,削除,置換,スワップなど)をプログラム的に指定するための汎用言語を提案する。 次に、このようなユーザ定義文字列変換に対して堅牢なモデルを逆トレーニングするアプローチを提案する。 本手法は,検索ベースの手法のアドバンテージと抽象的手法を組み合わせたものである。 具体的には,ユーザ定義文字列変換の集合を2つのコンポーネント仕様に分解する方法を示す。 我々はこの手法を用いてAGとSST2データセットのモデルをトレーニングし、結果として得られたモデルがスペルミスやその他の意味保存変換を模倣したユーザ定義変換の組み合わせに対して堅牢であることを示す。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Learning to Transform Dynamically for Better Adversarial Transferability [32.267484632957576]
  人間に知覚できない摂動を加えることで構築された敵対的な例は、ニューラルネットワークを欺く可能性がある。 我々はL2T(Learning to Transform)という新しいアプローチを導入する。 L2Tは、候補プールからの操作の最適な組み合わせを選択することにより、変換された画像の多様性を高める。
  論文  参考訳（メタデータ） (2024-05-23T00:46:53Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• ESCL: Equivariant Self-Contrastive Learning for Sentence Representations [16.601370864663213]
  感性変換をフル活用するために,同変自己比較学習(ESCL)手法を提案する。 提案手法は,従来の手法に比べて学習パラメータを少なくしながら,より良い結果が得られる。
  論文  参考訳（メタデータ） (2023-03-09T09:52:28Z)
• A Generic Self-Supervised Framework of Learning Invariant Discriminative Features [9.614694312155798]
  本稿では,制約付き自己ラベル割り当てプロセスに基づく汎用SSLフレームワークを提案する。 提案手法は,AE構造に基づく最先端の表現学習手法よりも優れている。
  論文  参考訳（メタデータ） (2022-02-14T18:09:43Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Certified Robustness to Programmable Transformations in LSTMs [14.587069421684157]
  自然言語処理のためのディープニューラルネットワークは、逆の例に直面して脆弱である。 本稿では,LSTMを効率よく検証可能な拡張LSTMの認証手法を提案する。
  論文  参考訳（メタデータ） (2021-02-15T19:54:59Z)
• Sequence-Level Mixed Sample Data Augmentation [119.94667752029143]
  本研究は、シーケンス対シーケンス問題に対するニューラルモデルにおける合成行動を促進するための単純なデータ拡張手法を提案する。 我々の手法であるSeqMixは、トレーニングセットから入力/出力シーケンスをソフトに結合することで、新しい合成例を作成する。
  論文  参考訳（メタデータ） (2020-11-18T02:18:04Z)
• Data Augmentation via Structured Adversarial Perturbations [25.31035665982414]
  そこで本研究では,所望の自然構造を維持する逆例を生成する手法を提案する。 我々はこの手法を、測光と幾何の2種類の画像変換を通して実証する。
  論文  参考訳（メタデータ） (2020-11-05T18:07:55Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。