論文の概要: ROIC-DM: Robust Text Inference and Classification via Diffusion Model

• arxiv url: http://arxiv.org/abs/2401.03514v1
• Date: Sun, 7 Jan 2024 15:05:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 18:24:53.513164
• Title: ROIC-DM: Robust Text Inference and Classification via Diffusion Model
• Title（参考訳）: ROIC-DM:拡散モデルによるロバストテキスト推論と分類
• Authors: Shilong Yuan, Wei Yuan, Tieke HE
• Abstract要約: 本稿では,拡散モデル(ROIC-DM)に基づく,ロバストテキスト推論と分類のための革新的なモデルを提案する。 ROIC-DMは、発達段階を含む訓練に特化しており、従来の言語モデルよりも頑健である。 3つのデータセットに対するいくつかの強いテキスト対逆攻撃による大規模な実験は、ROIC-DMが従来の言語モデルよりも堅牢性が高いことを示した。
• 参考スコア（独自算出の注目度）: 10.670034262460527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While language models have made many milestones in text inference and classification tasks, they remain susceptible to adversarial attacks that can lead to unforeseen outcomes. Existing works alleviate this problem by equipping language models with defense patches. However, these defense strategies often rely on impractical assumptions or entail substantial sacrifices in model performance. Consequently, enhancing the resilience of the target model using such defense mechanisms is a formidable challenge. This paper introduces an innovative model for robust text inference and classification, built upon diffusion models (ROIC-DM). Benefiting from its training involving denoising stages, ROIC-DM inherently exhibits greater robustness compared to conventional language models. Moreover, ROIC-DM can attain comparable, and in some cases, superior performance to language models, by effectively incorporating them as advisory components. Extensive experiments conducted with several strong textual adversarial attacks on three datasets demonstrate that (1) ROIC-DM outperforms traditional language models in robustness, even when the latter are fortified with advanced defense mechanisms; (2) ROIC-DM can achieve comparable and even better performance than traditional language models by using them as advisors.
• Abstract（参考訳）: 言語モデルはテキスト推論や分類タスクで多くのマイルストーンを達成しているが、予期せぬ結果につながる敵の攻撃を受けやすい。 既存の作業は、言語モデルに防御パッチを装備することでこの問題を軽減する。 しかし、これらの防衛戦略は、しばしば非現実的な仮定に依存するか、モデル性能の実質的な犠牲を伴う。 したがって、そのような防御機構を用いて目標モデルのレジリエンスを高めることは、非常に難しい課題である。 本稿では,拡散モデル(ROIC-DM)に基づく,堅牢なテキスト推論と分類のための革新的なモデルを提案する。 ROIC-DMは、発達段階を含む訓練に特化しており、従来の言語モデルよりも頑健である。 さらに、ROIC-DMは、効果的にアドバイザリコンポーネントとして組み込むことで、言語モデルよりも優れたパフォーマンスを実現することができる。 その結果,(1) ROIC-DMは, 従来の言語モデルに対して, 高度な防御機構で強化された場合でも, 従来の言語モデルよりも優れた性能を発揮すること, (2) ROIC-DMは, 従来の言語モデルと同等かつ優れた性能を, アドバイザとして利用することで達成できることが示唆された。

関連論文リスト

• Determine-Then-Ensemble: Necessity of Top-k Union for Large Language Model Ensembling [23.447466392929712]
  大規模言語モデル(LLM)は、様々なタスクに様々な長所と短所を示す。 既存のLLMアンサンブル法は、しばしばモデルの互換性を見落とし、確率の非効率なアライメントに苦しむ。 textscUnion textscTop-$k$ textscEnsembling (textscUniTE)は,各モデルから上位kトークンの結合に着目し,効率的にモデルを結合する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-10-03T08:42:38Z)
• MultiAgent Collaboration Attack: Investigating Adversarial Attacks in Large Language Model Collaborations via Debate [24.92465108034783]
  大規模言語モデル(LLM)は、個別に作業する場合に、現在のベンチマークで例外的な結果を示す。 パラメータサイズと推論時間の短縮とともに、それらの能力の進歩は、これらのモデルをエージェントとしての使用を促進する。 敵の影響下での議論を通じて協調するモデルのネットワークの挙動を評価する。
  論文  参考訳（メタデータ） (2024-06-20T20:09:37Z)
• Partially Recentralization Softmax Loss for Vision-Language Models Robustness [8.78222772167501]
  事前学習したマルチモーダルモデルの損失関数を変更することで得られる対向的ロバスト性について検討する。 実験の結果、訓練済みモデルの微調整後、一般的な攻撃に対して、逆方向の頑健性を大幅に改善できることが判明した。
  論文  参考訳（メタデータ） (2024-02-06T01:44:38Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets [46.19529338280716]
  言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。 入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。 複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-15T02:59:10Z)
• On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training [109.9218185711916]
  アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。 我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-04-19T11:07:43Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Evaluating Deception Detection Model Robustness To Linguistic Variation [10.131671217810581]
  認知ニュース検出の設定における言語的変化に対するモデル堅牢性の解析を提案する。 2つの予測タスクを検討し,3つの最先端組込みを比較して,モデル性能の一貫した傾向を強調する。 キャラクタあるいは混合アンサンブルモデルが最も効果的な防御であり,キャラクタ摂動に基づく攻撃戦術がより成功していることがわかった。
  論文  参考訳（メタデータ） (2021-04-23T17:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。