Fugu-MT 論文翻訳(概要): Step by Step Loss Goes Very Far: Multi-Step Quantization for Adversarial Text Attacks

論文の概要: Step by Step Loss Goes Very Far: Multi-Step Quantization for Adversarial Text Attacks

arxiv url: http://arxiv.org/abs/2302.05120v1
Date: Fri, 10 Feb 2023 08:50:51 GMT
ステータス: 処理完了
システム内更新日: 2023-02-13 16:10:40.389708
Title: Step by Step Loss Goes Very Far: Multi-Step Quantization for Adversarial Text Attacks
Title（参考訳）: ステップバイステップの損失が極端に拡大: 逆テキスト攻撃のためのマルチステップ量子化
Authors: Piotr Gai\'nski, Klaudia Ba{\l}azy
Abstract要約: 本稿では,変圧器に基づく言語モデルに対する新たな勾配に基づく攻撃法を提案する。本アルゴリズムは,連続したテキスト表現と離散的なテキスト表現の対立損失のギャップを緩和する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel gradient-based attack against transformer-based language models that searches for an adversarial example in a continuous space of token probabilities. Our algorithm mitigates the gap between adversarial loss for continuous and discrete text representations by performing multi-step quantization in a quantization-compensation loop. Experiments show that our method significantly outperforms other approaches on various natural language processing (NLP) tasks.
Abstract（参考訳）: 本稿では,トークン確率の連続空間における逆例を探索するトランスフォーマーに基づく言語モデルに対する,新しい勾配に基づく攻撃を提案する。本アルゴリズムは、連続したテキスト表現と離散的なテキスト表現の対向損失のギャップを減らし、量子化補償ループで多段階量子化を行う。実験の結果,本手法は様々な自然言語処理(NLP)タスクにおいて,他の手法よりも優れていることがわかった。

関連論文リスト

Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文参考訳（メタデータ） (2024-10-10T17:02:48Z)
Sample-agnostic Adversarial Perturbation for Vision-Language Pre-training Models [7.350203999073509]
AIセキュリティに関する最近の研究は、画像やテキストの微妙で意図的に設計された摂動に対するビジョンランゲージ事前学習モデルの脆弱性を強調している。私たちの知る限りでは、どんな画像にも当てはまる普遍的でサンプルに依存しない摂動の生成を探索する、マルチモーダルな決定境界による最初の研究である。
論文参考訳（メタデータ） (2024-08-06T06:25:39Z)
Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
テキストから音声合成(TTS)のための新しい連続値トークンに基づく言語モデリング手法であるMELLEを提案する。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。
論文参考訳（メタデータ） (2024-07-11T14:36:53Z)
QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。これにより、ネットワークは微妙な入力摂動から学習することができる。量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
論文参考訳（メタデータ） (2024-05-22T17:34:18Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
Curricular Transfer Learning for Sentence Encoded Tasks [0.0]
本稿では「データハッキング」と文法解析によって導かれる事前学習の手順を提案する。実験では,MultiWoZタスクの事前学習手法と比較して,提案手法からかなりの改善が得られた。
論文参考訳（メタデータ） (2023-08-03T16:18:19Z)
A Contrastive Framework for Neural Text Generation [46.845997620234265]
モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
論文参考訳（メタデータ） (2022-02-13T21:46:14Z)
Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
論文参考訳（メタデータ） (2022-01-06T11:00:49Z)
Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial Attack Framework [17.17479625646699]
そこで本研究では,テキストの敵対的サンプルを作成するための統一的なフレームワークを提案する。本稿では,T-PGD(Textual Projected Gradient Descent)という攻撃アルゴリズムを用いて,我々のフレームワークをインスタンス化する。
論文参考訳（メタデータ） (2021-10-28T17:31:51Z)
Neural Text Generation with Part-of-Speech Guided Softmax [82.63394952538292]
テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
論文参考訳（メタデータ） (2021-05-08T08:53:16Z)
Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。