Fugu-MT 論文翻訳(概要): Mind Your Questions! Towards Backdoor Attacks on Text-to-Visualization Models

論文の概要: Mind Your Questions! Towards Backdoor Attacks on Text-to-Visualization Models

arxiv url: http://arxiv.org/abs/2410.06782v2
Date: Thu, 10 Oct 2024 05:32:52 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 03:40:32.189050
Title: Mind Your Questions! Towards Backdoor Attacks on Text-to-Visualization Models
Title（参考訳）: 質問を意識して! テキスト・ツー・ヴィジュアライゼーション・モデルにおけるバックドア攻撃に向けて
Authors: Shuaimin Li, Yuanfeng Song, Xuanang Chen, Anni Peng, Zhuoyue Wan, Chen Jason Zhang, Raymond Chi-Wing Wong,
Abstract要約: VisPoisonは、これらのテキスト・ツー・ビジュアライゼーションモデルの脆弱性を体系的に識別するように設計されたフレームワークである。我々は、VisPoisonが90%以上の攻撃成功率を達成したことを示し、現在のテキスト・ツー・ビジターモデルのセキュリティ問題を強調した。
参考スコア（独自算出の注目度）: 21.2448592823259
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Text-to-visualization (text-to-vis) models have become valuable tools in the era of big data, enabling users to generate data visualizations and make informed decisions through natural language queries (NLQs). Despite their widespread application, the security vulnerabilities of these models have been largely overlooked. To address this gap, we propose VisPoison, a novel framework designed to identify these vulnerabilities of current text-to-vis models systematically. VisPoison introduces two types of triggers that activate three distinct backdoor attacks, potentially leading to data exposure, misleading visualizations, or denial-of-service (DoS) incidents. The framework features both proactive and passive attack mechanisms: proactive attacks leverage rare-word triggers to access confidential data, while passive attacks, triggered unintentionally by users, exploit a first-word trigger method, causing errors or DoS events in visualizations. Through extensive experiments on both trainable and in-context learning (ICL)-based text-to-vis models, \textit{VisPoison} achieves attack success rates of over 90\%, highlighting the security problem of current text-to-vis models. Additionally, we explore two types of defense mechanisms against these attacks, but the results show that existing countermeasures are insufficient, underscoring the pressing need for more robust security solutions in text-to-vis systems.
Abstract（参考訳）: テキスト・ツー・ビジュアライゼーション(text-to-visualization, テキスト・ツー・ビジュアライゼーション)モデルは,ビッグデータの時代において重要なツールとなり,ユーザがデータ視覚化を生成し,自然言語クエリ(NLQ)を通じて情報決定を行うことができるようになった。広範囲にわたるアプリケーションにもかかわらず、これらのモデルのセキュリティ脆弱性はほとんど見過ごされてきました。このギャップに対処するために,現行のテキスト・ツー・ビジター・モデルの脆弱性を体系的に識別する新しいフレームワークであるVisPoisonを提案する。 VisPoisonは3つの異なるバックドア攻撃を起動する2つのタイプのトリガーを導入している。プロアクティブアタックは秘密データにアクセスするためにレアワードトリガーを利用するが、パッシブアタックはユーザによって意図せずトリガーされ、ファーストワードトリガーメソッドが利用され、視覚化におけるエラーやDoSイベントが発生する。トレーニング可能およびインコンテキスト学習(ICL)ベースのテキスト・ツー・バイ・バイ・バイ・モデルに関する広範な実験を通じて、 \textit{VisPoison} は攻撃成功率 90 % を達成し、現在のテキスト・ツー・バイ・バイ・モデルのセキュリティ問題を浮き彫りにした。さらに,これらの攻撃に対する2つの防御機構について検討するが,既存の対策は不十分であり,テキスト・ツー・バイ・システムにおいてより堅牢なセキュリティソリューションの必要性が強調されている。

関連論文リスト

In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [97.82118821263825]
テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。 ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
論文参考訳（メタデータ） (2024-11-25T04:17:24Z)
Backdooring Vision-Language Models with Out-Of-Distribution Data [44.40928756056506]
視覚言語モデル(VLM)は視覚入力から詳細なテキスト記述を生成する。重要性は増しているが、特にバックドア攻撃に対するVLMの安全性は検討中である。 VLOOD(Backdooring Vision-Language Models with Out-of-Distribution Data)は、2つの重要なコントリビューションを持つ新しいアプローチである。
論文参考訳（メタデータ） (2024-10-02T06:21:00Z)
Imposter.AI: Adversarial Attacks with Hidden Intentions towards Aligned Large Language Models [13.225041704917905]
本研究では,大規模言語モデルから有害情報を抽出するために,人間の会話戦略を活かした攻撃機構を明らかにする。明示的な悪意のある応答をターゲットとする従来の手法とは異なり、我々のアプローチは応答で提供される情報の性質を深く掘り下げている。
論文参考訳（メタデータ） (2024-07-22T06:04:29Z)
Prompt Injection Attacks in Defended Systems [0.0]
ブラックボックス攻撃は、隠れた悪意のある機能を大きな言語モデルに埋め込むことができる。本稿では,3段階の防御機構を持つ大規模言語モデルに対するブラックボックス攻撃手法について検討する。
論文参考訳（メタデータ） (2024-06-20T07:13:25Z)
MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
論文参考訳（メタデータ） (2024-06-13T15:55:04Z)
Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack [24.954755569786396]
そこで本研究では,機械生成コンテンツの小さな摂動を回避して検出を回避すべく,より広いレベルの敵攻撃のためのフレームワークを提案する。我々は、ホワイトボックスとブラックボックスの2つの攻撃設定を検討し、現在の検出モデルのロバスト性を高める可能性を評価するために、動的シナリオにおける逆学習を採用する。実験の結果、現在の検出モデルは10秒で妥協でき、機械が生成したテキストを人間の書き起こしコンテンツとして誤分類する結果となった。
論文参考訳（メタデータ） (2024-04-02T12:49:22Z)
Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文参考訳（メタデータ） (2024-04-01T16:50:54Z)
SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文参考訳（メタデータ） (2023-12-08T09:08:50Z)
Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文参考訳（メタデータ） (2023-07-31T10:22:33Z)
Data Poisoning Attacks Against Multimodal Encoders [24.02062380303139]
視覚と言語の両方において多モーダルモデルに対する中毒攻撃について検討する。攻撃を緩和するため,前訓練と後訓練の両方の防御策を提案する。
論文参考訳（メタデータ） (2022-09-30T06:50:08Z)
A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文参考訳（メタデータ） (2022-06-17T02:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。