論文の概要: Learning Globally Optimized Language Structure via Adversarial Training
- arxiv url: http://arxiv.org/abs/2311.06771v1
- Date: Sun, 12 Nov 2023 08:21:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 17:08:58.092068
- Title: Learning Globally Optimized Language Structure via Adversarial Training
- Title（参考訳）: 逆行訓練によるグローバル最適化言語構造学習
- Authors: Xuwang Yin
- Abstract要約: 本研究は,事前の努力の限界に対処する対人訓練戦略を提案する。
自己回帰モデルからテキストを摂動することで、EMMをトレーニングするための負のサンプルを生成するために、反復的対逆攻撃アルゴリズムが提示される。
算術シーケンス生成タスクの実験により,提案手法が生成シーケンスの品質を大幅に向上させることを示す。
- 参考スコア（独自算出の注目度）: 3.580688446997508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has explored integrating autoregressive language models with
energy-based models (EBMs) to enhance text generation capabilities. However,
learning effective EBMs for text is challenged by the discrete nature of
language. This work proposes an adversarial training strategy to address
limitations in prior efforts. Specifically, an iterative adversarial attack
algorithm is presented to generate negative samples for training the EBM by
perturbing text from the autoregressive model. This aims to enable the EBM to
suppress spurious modes outside the support of the data distribution.
Experiments on an arithmetic sequence generation task demonstrate that the
proposed adversarial training approach can substantially enhance the quality of
generated sequences compared to prior methods. The results highlight the
promise of adversarial techniques to improve discrete EBM training. Key
contributions include: (1) an adversarial attack strategy tailored to text to
generate negative samples, circumventing MCMC limitations; (2) an adversarial
training algorithm for EBMs leveraging these attacks; (3) empirical validation
of performance improvements on a sequence generation task.
- Abstract（参考訳）: 最近の研究は、自動回帰言語モデルとエネルギーベースモデル(EBM)を統合することで、テキスト生成能力を向上している。
しかし,テキストに対する効果的なEMMの学習は,言語の性質の相違により困難である。
本研究は,事前の努力の限界に対処する対人訓練戦略を提案する。
具体的には、自己回帰モデルからテキストを摂動させることでebmを訓練するための負のサンプルを生成する反復逆攻撃アルゴリズムを提案する。
これは、ebmがデータ分散のサポートの外のスプリアスモードを抑制することを目的としている。
算術シーケンス生成タスクにおける実験により,提案手法は,従来の手法と比較して,生成シーケンスの品質を大幅に向上できることを示す。
その結果,個別のEMM訓練を改善するための対人的手法の約束が浮き彫りになった。
主な貢献は,(1)負のサンプルを生成するためにテキストに適した敵攻撃戦略,(2)これらの攻撃を利用するEMMに対する敵訓練アルゴリズム,(3)シーケンス生成タスクにおけるパフォーマンス改善の実証的検証である。
関連論文リスト
- Defensive Dual Masking for Robust Adversarial Defense [5.932787778915417]
本稿では,このような攻撃に対するモデルロバスト性を高めるための新しいアプローチであるDDMアルゴリズムを提案する。
DDMは, [MASK]トークンをトレーニングサンプルに戦略的に挿入し, 対向的摂動をより効果的に扱うためのモデルを作成する, 独自の対向的トレーニング戦略を採用している。
推論中、潜在的な敵トークンは、入力のコアセマンティクスを保持しながら潜在的な脅威を中和するために、動的に[MASK]トークンに置き換えられる。
論文 参考訳（メタデータ） (2024-12-10T00:41:25Z) - Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。
提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。
検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
論文 参考訳（メタデータ） (2024-07-31T16:13:29Z) - Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment [0.23020018305241333]
本稿では,ミームテキストにおける説得手法の階層的マルチラベル検出へのアプローチについて述べる。
本研究の範囲は、革新的なトレーニング技術とデータ強化戦略を通じて、モデルパフォーマンスの向上を含む。
論文 参考訳（メタデータ） (2024-07-01T20:25:20Z) - Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。
本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。
C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文 参考訳（メタデータ） (2024-05-24T14:20:09Z) - CoopInit: Initializing Generative Adversarial Networks via Cooperative
Learning [50.90384817689249]
CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。
本稿では,画像生成における提案手法の有効性を示す。
論文 参考訳（メタデータ） (2023-03-21T07:49:32Z) - Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial
Attack Framework [17.17479625646699]
そこで本研究では,テキストの敵対的サンプルを作成するための統一的なフレームワークを提案する。
本稿では,T-PGD(Textual Projected Gradient Descent)という攻撃アルゴリズムを用いて,我々のフレームワークをインスタンス化する。
論文 参考訳（メタデータ） (2021-10-28T17:31:51Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳（メタデータ） (2021-06-14T18:48:40Z) - A Simple but Tough-to-Beat Data Augmentation Approach for Natural
Language Understanding and Generation [53.8171136907856]
カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。
カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。
cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
論文 参考訳（メタデータ） (2020-09-29T07:08:35Z) - Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。
本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
論文 参考訳（メタデータ） (2020-09-16T06:53:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。