論文の概要: Finding a Wolf in Sheep's Clothing: Combating Adversarial Text-To-Image Prompts with Text Summarization

• arxiv url: http://arxiv.org/abs/2412.12212v1
• Date: Sun, 15 Dec 2024 22:12:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:02:04.337015
• Title: Finding a Wolf in Sheep's Clothing: Combating Adversarial Text-To-Image Prompts with Text Summarization
• Title（参考訳）: 羊の衣服における狼の発見--テキスト要約による対角的テキストと画像のプロンプトの融合
• Authors: Portia Cooper, Harshita Narnoli, Mihai Surdeanu,
• Abstract要約: テキスト・ツー・イメージモデルは段階的に「Divide-and-Conquer Attack」に弱い そこで本研究では,テキスト要約を伴う二層化手法を提案する。
• 参考スコア（独自算出の注目度）: 19.007018274174683
• License:
• Abstract: Text-to-image models are vulnerable to the stepwise "Divide-and-Conquer Attack" (DACA) that utilize a large language model to obfuscate inappropriate content in prompts by wrapping sensitive text in a benign narrative. To mitigate stepwise DACA attacks, we propose a two-layer method involving text summarization followed by binary classification. We assembled the Adversarial Text-to-Image Prompt (ATTIP) dataset ($N=940$), which contained DACA-obfuscated and non-obfuscated prompts. From the ATTIP dataset, we created two summarized versions: one generated by a small encoder model and the other by a large language model. Then, we used an encoder classifier and a GPT-4o classifier to perform content moderation on the summarized and unsummarized prompts. When compared with a classifier that operated over the unsummarized data, our method improved F1 score performance by 31%. Further, the highest recorded F1 score achieved (98%) was produced by the encoder classifier on a summarized ATTIP variant. This study indicates that pre-classification text summarization can inoculate content detection models against stepwise DACA obfuscations.
• Abstract（参考訳）: テキスト・ツー・イメージ・モデルは、大きな言語モデルを用いて不適切なコンテンツを不適切な物語にラップすることで、不適切な内容のプロンプトを難読化する「Divide-and-Conquer Attack(DACA)」に対して脆弱である。 ステップワイズDACA攻撃を軽減するために,テキスト要約を含む2層手法を提案する。 DACA-obfuscated と non-obfuscated のプロンプトを含む Adversarial Text-to-Image Prompt (ATTIP) データセット (N=940$) を組み立てた。 ATTIPデータセットから、小さなエンコーダモデルで生成されたバージョンと、大きな言語モデルで生成されたバージョンの2つの要約版を作成しました。 次に、エンコーダ分類器とGPT-4o分類器を用いて、要約されたプロンプトと要約されていないプロンプトのコンテンツモデレーションを行う。 未一致データ上で動作した分類器と比較すると,F1スコア性能は31%向上した。 さらに, 要約ATTIP変異株のエンコーダ分類器により, 最高スコア(98%)が得られた。 本研究は,事前分類テキスト要約により,段階的DACA難読化に対してコンテンツ検出モデルに接種可能であることを示唆する。

関連論文リスト

• Attacking Misinformation Detection Using Adversarial Examples Generated by Language Models [0.0]
  テキスト分類アルゴリズムのロバスト性をテストするために,逆例を生成するという課題について検討する。 我々は、攻撃者が試すことができるクエリ数に現実的な制限を設定することで、コンテンツモデレーションのシミュレーションに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-28T11:46:30Z)
• Elevating Code-mixed Text Handling through Auditory Information of Words [24.53638976212391]
  本稿では,SOUNDEXの単語の聴覚情報を用いて,コード混合テキストデータを扱うための言語モデルを作成するための効果的な手法を提案する。 提案手法は,SOUNDEX表現(SAMLM)と事前学習モデルに入力データを提供する新しい方法を含む,マスク付き言語モデルに基づく事前学習ステップを含む。
  論文  参考訳（メタデータ） (2023-10-27T14:03:30Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Exploring Discrete Diffusion Models for Image Captioning [104.69608826164216]
  DDCapと呼ばれる拡散型キャプションモデルを提案する。 本稿では,ベストファースト推論,集中注意マスク,テキスト長予測,画像のないトレーニングなど,いくつかの重要な手法を提案する。 4Mビジョン言語による事前学習画像とベースサイズのモデルを用いて,COCO上のCIDErスコア125.1に達する。
  論文  参考訳（メタデータ） (2022-11-21T18:12:53Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。