論文の概要: ROIC-DM: Robust Text Inference and Classification via Diffusion Model
- arxiv url: http://arxiv.org/abs/2401.03514v2
- Date: Tue, 9 Jan 2024 07:18:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 13:00:25.402457
- Title: ROIC-DM: Robust Text Inference and Classification via Diffusion Model
- Title(参考訳): ROIC-DM:拡散モデルによるロバストテキスト推論と分類
- Authors: Shilong Yuan, Wei Yuan, Hongzhi Yin, Tieke He
- Abstract要約: 本稿では,拡散モデル(ROIC-DM)に基づく,ロバストテキスト推論と分類のための革新的なモデルを提案する。
ROIC-DMは、発達段階を含む訓練に特化しており、従来の言語モデルよりも頑健である。
3つのデータセットに対するいくつかの強いテキスト対逆攻撃による大規模な実験は、ROIC-DMが従来の言語モデルよりも堅牢性が高いことを示した。
- 参考スコア(独自算出の注目度): 40.47452511263549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While language models have made many milestones in text inference and
classification tasks, they remain susceptible to adversarial attacks that can
lead to unforeseen outcomes. Existing works alleviate this problem by equipping
language models with defense patches. However, these defense strategies often
rely on impractical assumptions or entail substantial sacrifices in model
performance. Consequently, enhancing the resilience of the target model using
such defense mechanisms is a formidable challenge. This paper introduces an
innovative model for robust text inference and classification, built upon
diffusion models (ROIC-DM). Benefiting from its training involving denoising
stages, ROIC-DM inherently exhibits greater robustness compared to conventional
language models. Moreover, ROIC-DM can attain comparable, and in some cases,
superior performance to language models, by effectively incorporating them as
advisory components. Extensive experiments conducted with several strong
textual adversarial attacks on three datasets demonstrate that (1) ROIC-DM
outperforms traditional language models in robustness, even when the latter are
fortified with advanced defense mechanisms; (2) ROIC-DM can achieve comparable
and even better performance than traditional language models by using them as
advisors.
- Abstract(参考訳): 言語モデルはテキスト推論や分類タスクで多くのマイルストーンを達成しているが、予期せぬ結果につながる敵の攻撃を受けやすい。
既存の作業は、言語モデルに防御パッチを装備することでこの問題を軽減する。
しかし、これらの防衛戦略は、しばしば非現実的な仮定に依存するか、モデル性能の実質的な犠牲を伴う。
したがって、そのような防御機構を用いて目標モデルのレジリエンスを高めることは、非常に難しい課題である。
本稿では,拡散モデル(ROIC-DM)に基づく,堅牢なテキスト推論と分類のための革新的なモデルを提案する。
ROIC-DMは、発達段階を含む訓練に特化しており、従来の言語モデルよりも頑健である。
さらに、ROIC-DMは、効果的にアドバイザリコンポーネントとして組み込むことで、言語モデルよりも優れたパフォーマンスを実現することができる。
その結果,(1) ROIC-DMは, 従来の言語モデルに対して, 高度な防御機構で強化された場合でも, 従来の言語モデルよりも優れた性能を発揮すること, (2) ROIC-DMは, 従来の言語モデルと同等かつ優れた性能を, アドバイザとして利用することで達成できることが示唆された。
関連論文リスト
- Partially Recentralization Softmax Loss for Vision-Language Models
Robustness [12.079952813850428]
事前学習したマルチモーダルモデルの損失関数を変更することで得られる対向的ロバスト性について検討する。
実験の結果、訓練済みモデルの微調整後、一般的な攻撃に対して、逆方向の頑健性を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2024-02-06T01:44:38Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - Improving the Robustness of Transformer-based Large Language Models with
Dynamic Attention [43.95101492654236]
BERTやGPTといったトランスフォーマーベースのモデルは、自然言語処理(NLP)において広く採用されている。
近年の研究では、テキスト入力を意図的に操作することで、モデルの出力を誤認できるような、テキストの敵対攻撃に対する脆弱性が示されている。
本稿では,トランスアーキテクチャに適した動的アテンション(動的アテンション)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-29T07:09:13Z) - Multi-Set Inoculation: Assessing Model Robustness Across Multiple
Challenge Sets [48.94926373895036]
本稿では,入力摂動が異なるスケールの言語モデルに与える影響を研究する枠組みを提案する。
一方の摂動への曝露が他の摂動に対するモデルの性能を向上させるか、劣化させるかを検討する。
提案手法は,与えられたデータセットの精度を損なうことなく,異なる摂動に頑健にモデルを訓練することを示す。
論文 参考訳(メタデータ) (2023-11-15T02:59:10Z) - Context-aware Adversarial Attack on Named Entity Recognition [15.049160192547909]
本研究では,文脈対応型対向攻撃法について検討し,モデルのロバスト性について検討する。
具体的には、エンティティを認識するために最も情報に富む単語を摂動し、敵の例を作成することを提案する。
実験と分析により,本手法は強いベースラインよりも間違った予測を下すのに有効であることが示された。
論文 参考訳(メタデータ) (2023-09-16T14:04:23Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - On Robustness of Prompt-based Semantic Parsing with Large Pre-trained
Language Model: An Empirical Study on Codex [48.588772371355816]
本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。
この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
論文 参考訳(メタデータ) (2023-01-30T13:21:00Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z) - Evaluating Deception Detection Model Robustness To Linguistic Variation [10.131671217810581]
認知ニュース検出の設定における言語的変化に対するモデル堅牢性の解析を提案する。
2つの予測タスクを検討し,3つの最先端組込みを比較して,モデル性能の一貫した傾向を強調する。
キャラクタあるいは混合アンサンブルモデルが最も効果的な防御であり,キャラクタ摂動に基づく攻撃戦術がより成功していることがわかった。
論文 参考訳(メタデータ) (2021-04-23T17:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。