論文の概要: RobustSentEmbed: Robust Sentence Embeddings Using Adversarial Self-Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2403.11082v1
• Date: Sun, 17 Mar 2024 04:29:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 20:17:05.946741
• Title: RobustSentEmbed: Robust Sentence Embeddings Using Adversarial Self-Supervised Contrastive Learning
• Title（参考訳）: RobustSentEmbed: 対向的自己監督型コントラスト学習を用いたロバスト文埋め込み
• Authors: Javad Rafiei Asl, Prajwal Panzade, Eduardo Blanco, Daniel Takabi, Zhipeng Cai,
• Abstract要約: RobustSentEmbedは、テキスト表現タスクの堅牢性を改善するために設計された、自己教師型文埋め込みフレームワークである。 本フレームワークは,様々な敵攻撃の成功率を大幅に低下させ,BERTAttackの成功率をほぼ半分に削減する。
• 参考スコア（独自算出の注目度）: 11.347789553984741
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-trained language models (PLMs) have consistently demonstrated outstanding performance across a diverse spectrum of natural language processing tasks. Nevertheless, despite their success with unseen data, current PLM-based representations often exhibit poor robustness in adversarial settings. In this paper, we introduce RobustSentEmbed, a self-supervised sentence embedding framework designed to improve both generalization and robustness in diverse text representation tasks and against a diverse set of adversarial attacks. Through the generation of high-risk adversarial perturbations and their utilization in a novel objective function, RobustSentEmbed adeptly learns high-quality and robust sentence embeddings. Our experiments confirm the superiority of RobustSentEmbed over state-of-the-art representations. Specifically, Our framework achieves a significant reduction in the success rate of various adversarial attacks, notably reducing the BERTAttack success rate by almost half (from 75.51\% to 38.81\%). The framework also yields improvements of 1.59\% and 0.23\% in semantic textual similarity tasks and various transfer tasks, respectively.
• Abstract（参考訳）: プレトレーニング言語モデル (PLM) は、様々な自然言語処理タスクにおいて、一貫して優れた性能を示してきた。 それでも、不明瞭なデータで成功したにもかかわらず、現在の PLM ベースの表現は、しばしば敵の設定において弱い堅牢性を示す。 本稿では,テキスト表現タスクの一般化とロバスト性を両立させる自己教師型文埋め込みフレームワークであるRobustSentEmbedを紹介する。 高リスク対向摂動の生成と新たな目的関数への利用を通じて、RobustSentEmbedは、高品質で堅牢な文の埋め込みを順応的に学習する。 我々の実験は、最先端の表現よりもRobustSentEmbedの方が優れていることを確認した。 具体的には, BERTAttack の成功率を約半分(75.51\%から38.81\%)に削減した。 このフレームワークは、セマンティックテキスト類似性タスクと様々な転送タスクにおいて、それぞれ 1.59 % と 0.23 % の改善も与えている。

関連論文リスト

• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• TIMA: Text-Image Mutual Awareness for Balancing Zero-Shot Adversarial Robustness and Generalization Ability [8.896239176376488]
  この研究は、大規模基礎モデルにおけるゼロショット一般化を保ちながら、ゼロショット対逆ロバスト性を達成するという課題に対処する。 本稿では,ゼロショット対向性と一般化のバランスをとるテキスト・イメージ相互認識(TIMA)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T22:10:17Z)
• Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
  知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:28:43Z)
• Lost In Translation: Generating Adversarial Examples Robust to Round-Trip Translation [66.33340583035374]
  本研究は, ラウンドトリップ翻訳における現在のテキスト対逆攻撃の堅牢性に関する包括的研究である。 筆者らは,現在最先端のテキストベースの6つの敵攻撃が,ラウンドトリップ翻訳後の有効性を維持していないことを実証した。 本稿では,機械翻訳を逆例生成のプロセスに組み込むことにより,この問題に対する介入に基づく解決策を提案する。
  論文  参考訳（メタデータ） (2023-07-24T04:29:43Z)
• Rethinking Textual Adversarial Defense for Pre-trained Language Models [79.18455635071817]
  文献レビューでは、事前訓練された言語モデル(PrLM)が敵の攻撃に弱いことが示されている。 本稿では、現在の敵攻撃アプローチにより、より自然で知覚不能な敵の例を生成するための新しい指標(異常の度合い)を提案する。 我々は,我々のユニバーサル・ディフェンス・フレームワークが,他の特定のディフェンスと同等あるいはそれ以上のアフターアタック・ディフェンスの精度を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-21T07:51:45Z)
• Hear No Evil: Towards Adversarial Robustness of Automatic Speech Recognition via Multi-Task Learning [13.735883484044166]
  本研究では,マルチタスク学習が音声領域におけるASRモデルの対角的ロバスト性に及ぼす影響について検討する。 提案手法は,17.25から59.90までの敵目標WERにおいて,絶対的な改善が見られた。 我々の研究は、ASRのマルチタスク学習による敵の堅牢性向上を明らかにする最初の詳細な研究である。
  論文  参考訳（メタデータ） (2022-04-05T17:40:19Z)
• Perturbations in the Wild: Leveraging Human-Written Text Perturbations for Realistic Adversarial Attack and Defense [19.76930957323042]
  ANTHROは、野生で600万以上の人間が書いたテキストの摂動を誘導的に抽出し、それらを現実的な敵攻撃に活用する。 本研究では,(1)攻撃成功率,(2)原文の意味的保存,(3)人文と区別できないステルスネスのトレードオフを,AnTHROが生成した敵対的テキストが達成できることを見出した。
  論文  参考訳（メタデータ） (2022-03-19T16:00:01Z)
• Characterizing the adversarial vulnerability of speech self-supervised learning [95.03389072594243]
  我々は,ゼロ知識とリミテッド知識の両方の敵からの攻撃の下で,そのようなパラダイムの敵対的脆弱性を調査するための最初の試みを行う。 実験結果から, SUPERB が提案するパラダイムは, 限られた知識を持つ敵に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-08T08:44:04Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。