論文の概要: Tougher Text, Smarter Models: Raising the Bar for Adversarial Defence Benchmarks

• arxiv url: http://arxiv.org/abs/2501.02654v2
• Date: Wed, 08 Jan 2025 14:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 11:35:26.873809
• Title: Tougher Text, Smarter Models: Raising the Bar for Adversarial Defence Benchmarks
• Title（参考訳）: より厳しいテキストとよりスマートなモデル - 敵防衛ベンチマークのためのバーのライジング
• Authors: Yang Wang, Chenghua Lin,
• Abstract要約: 我々のベンチマークでは、幅広いデータセットを取り入れ、最先端の防御メカニズムを評価し、重要なタスクを含むように評価を拡張している。 この領域でベンチマークを行うための新しい標準を確立することで、より堅牢で信頼性の高い自然言語処理システムへの進歩を加速することを目指している。
• 参考スコア（独自算出の注目度）: 18.565448090184
• License:
• Abstract: Recent advancements in natural language processing have highlighted the vulnerability of deep learning models to adversarial attacks. While various defence mechanisms have been proposed, there is a lack of comprehensive benchmarks that evaluate these defences across diverse datasets, models, and tasks. In this work, we address this gap by presenting an extensive benchmark for textual adversarial defence that significantly expands upon previous work. Our benchmark incorporates a wide range of datasets, evaluates state-of-the-art defence mechanisms, and extends the assessment to include critical tasks such as single-sentence classification, similarity and paraphrase identification, natural language inference, and commonsense reasoning. This work not only serves as a valuable resource for researchers and practitioners in the field of adversarial robustness but also identifies key areas for future research in textual adversarial defence. By establishing a new standard for benchmarking in this domain, we aim to accelerate progress towards more robust and reliable natural language processing systems.
• Abstract（参考訳）: 自然言語処理の最近の進歩は、敵対的攻撃に対するディープラーニングモデルの脆弱性を強調している。 様々な防御メカニズムが提案されているが、これらの防御をさまざまなデータセット、モデル、タスクにわたって評価する包括的なベンチマークが欠如している。 本研究では,このギャップに対処するために,従来よりも大幅に拡大したテキスト対逆防御のための広範なベンチマークを提示する。 我々のベンチマークでは、幅広いデータセットを取り入れ、最先端の防御メカニズムを評価し、単一文分類、類似性とパラフレーズ識別、自然言語推論、コモンセンス推論などの重要なタスクを含むように評価を拡張している。 この研究は、敵対的堅牢性の分野における研究者や実践者にとって貴重な資源となるだけでなく、テキスト的敵防衛における将来の研究の鍵となる領域も特定する。 この領域でベンチマークを行うための新しい標準を確立することで、より堅牢で信頼性の高い自然言語処理システムへの進歩を加速することを目指している。

関連論文リスト

• Jailbreaking and Mitigation of Vulnerabilities in Large Language Models [4.564507064383306]
  大規模言語モデル(LLM)は、自然言語の理解と生成を前進させることで、人工知能を変革した。 これらの進歩にもかかわらず、LSMは、特に注射と脱獄攻撃を急ぐために、かなりの脆弱性を示してきた。 このレビューでは、これらの脆弱性についての研究状況を分析し、利用可能な防衛戦略を提示する。
  論文  参考訳（メタデータ） (2024-10-20T00:00:56Z)
• MIBench: A Comprehensive Benchmark for Model Inversion Attack and Defense [43.71365087852274]
  Model Inversion (MI)攻撃は、ターゲットモデルの出力情報を活用して、プライバシに敏感なトレーニングデータを再構築することを目的としている。 包括的で整合性があり、信頼性の高いベンチマークが欠如していることは、非常に大きな課題である。 この致命的なギャップに対処するため、モデル反転攻撃と防御のための最初の実用的なベンチマーク(textitMIBench)を紹介した。
  論文  参考訳（メタデータ） (2024-10-07T16:13:49Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Measuring Equality in Machine Learning Security Defenses: A Case Study in Speech Recognition [56.69875958980474]
  この研究は、学習したシステムを守るためのアプローチと、異なるサブ人口間でのセキュリティ防衛がパフォーマンス上の不平等をもたらす方法を検討する。 提案された多くの手法は、虚偽の拒絶やロバストネストレーニングの不平等といった直接的な害を引き起こす可能性がある。 本稿では, ランダム化スムースメントとニューラルリジェクションの2つの防御法の比較を行い, マイノリティ集団のサンプリング機構により, ランダム化スムースメントがより公平であることを見出した。
  論文  参考訳（メタデータ） (2023-02-17T16:19:26Z)
• TextDefense: Adversarial Text Detection based on Word Importance Entropy [38.632552667871295]
  NLPモデルの新たな逆例検出フレームワークであるTextDefenseを提案する。 実験の結果,TextDefenseは異なるアーキテクチャ,データセット,アタックメソッドに適用可能であることがわかった。 我々はNLPの敵攻撃と防衛方法の原理に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-02-12T11:12:44Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
  データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。 この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。 実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
  論文  参考訳（メタデータ） (2022-02-21T14:43:38Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Searching for an Effective Defender: Benchmarking Defense against Adversarial Word Substitution [83.84968082791444]
  ディープニューラルネットワークは、意図的に構築された敵の例に対して脆弱である。 ニューラルNLPモデルに対する敵対的単語置換攻撃を防御する様々な方法が提案されている。
  論文  参考訳（メタデータ） (2021-08-29T08:11:36Z)
• Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News [57.9843300852526]
  我々は、画像やキャプションを含む機械生成ニュースに対して、より現実的で挑戦的な対策を導入する。 敵が悪用できる可能性のある弱点を特定するために、4つの異なる種類の生成された記事からなるNeuralNewsデータセットを作成します。 ユーザ実験から得られた貴重な知見に加えて,視覚的意味的不整合の検出にもとづく比較的効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。