論文の概要: When Vision Fails: Text Attacks Against ViT and OCR

• arxiv url: http://arxiv.org/abs/2306.07033v2
• Date: Sat, 11 Oct 2025 04:55:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 20:23:38.758723
• Title: When Vision Fails: Text Attacks Against ViT and OCR
• Title（参考訳）: ViTとOCRに対するテキスト攻撃、Visionが失敗したとき
• Authors: Nicholas Boucher, Jenny Blessing, Ilia Shumailov, Ross Anderson, Nicolas Papernot,
• Abstract要約: テキストベースの機械学習モデルは、Unicodeベースの敵の新たなクラスに対して脆弱である。 理論上、OCRモデルは悪意のあるUnicode文字を無視し、モデルに入力される視覚的に正しい入力を抽出する。 これらの視覚的防御はこの種の攻撃を防げないことを示す。
• 参考スコア（独自算出の注目度）: 37.010684530076205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-based machine learning models are vulnerable to an emerging class of Unicode-based adversarial examples capable of tricking a model into misreading text with potentially disastrous effects. The primary existing defense against these attacks is to preprocess potentially malicious text inputs using optical character recognition (OCR). In theory, OCR models will ignore any malicious Unicode characters and will extract the visually correct input to be fed to the model. In this work, we show that these visual defenses fail to prevent this type of attack. We use a genetic algorithm to generate visual adversarial examples (i.e., OCR outputs) in a black-box setting, demonstrating a highly effective novel attack that substantially reduces the accuracy of OCR and other visual models. Specifically, we use the Unicode functionality of combining characters (e.g., \~n which combines the characters n and ~) to manipulate text inputs so that small visual perturbations appear when the text is displayed. We demonstrate the effectiveness of these attacks in the real world by creating adversarial examples against production models published by Meta, Microsoft, IBM, and Google. We additionally conduct a user study to establish that the model-fooling adversarial examples do not affect human comprehension of the text, showing that language models are uniquely vulnerable to this type of text attack.
• Abstract（参考訳）: テキストベースの機械学習モデルは、モデルを騙して、潜在的に破壊的な影響のあるテキストを読み間違えることのできる、Unicodeベースの敵の新たなクラスに対して脆弱である。 これらの攻撃に対する主要な防御は、光学文字認識(OCR)を使用して潜在的に悪意のあるテキスト入力を前処理することである。 理論上、OCRモデルは悪意のあるUnicode文字を無視し、モデルに入力される視覚的に正しい入力を抽出する。 本研究では,このような視覚的防御が,このような攻撃を防げないことを示す。 我々は遺伝的アルゴリズムを用いて、ブラックボックス設定の視覚的敵意(OCR出力)を生成し、OCRや他の視覚モデルの精度を大幅に低下させる非常に効果的な新規攻撃を実証する。 具体的には、文字 n と ~ を組み合わせた文字(eg , \~n)を組み合わせてテキスト入力を操作することで、テキストを表示するときに小さな視覚的摂動が現れるようにします。 われわれは、Meta、Microsoft、IBM、Googleが発行したプロダクションモデルに対する敵対的な例を作成することで、これらの攻撃の有効性を実世界で実証する。 さらに,本研究は,本手法がテキストの人間の理解に影響を与えないことを示すために,ユーザスタディを実施し,このタイプのテキスト攻撃に対して言語モデルが一意に脆弱であることを示す。

関連論文リスト

• TextInVision: Text and Prompt Complexity Driven Visual Text Generation Benchmark [61.412934963260724]
  既存の拡散ベースのテキスト・ツー・イメージモデルは、しばしば画像に正確にテキストを埋め込むのに苦労する。 本研究では,画像に視覚テキストを統合する拡散モデルの有効性を評価するために,大規模で,かつ,迅速な複雑性駆動型ベンチマークであるTextInVisionを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T21:36:31Z)
• Web Artifact Attacks Disrupt Vision Language Models [61.59021920232986]
  視覚言語モデル(VLM)は、大規模で軽量にキュレートされたWebデータセットに基づいて訓練されている。 意味概念と無関係な視覚信号の間に意図しない相関関係を学習する。 これまでの研究は、これらの相関関係をモデル予測を操作するための攻撃ベクトルとして武器化してきた。 非マッチングテキストとグラフィカル要素の両方を使ってモデルを誤解させる新しい操作クラスである、アーティファクトベースのアタックを紹介します。
  論文  参考訳（メタデータ） (2025-03-17T18:59:29Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• I See Dead People: Gray-Box Adversarial Attack on Image-To-Text Models [0.0]
  我々は、画像からテキストへのグレーボックスの逆攻撃を、未ターゲティングとターゲットの両方に提示する。 攻撃はグレーボックス方式で実行され、デコーダモジュールに関する知識は不要です。 また、私たちの攻撃は人気のあるオープンソースプラットフォームHugging Faceを騙していることも示しています。
  論文  参考訳（メタデータ） (2023-06-13T07:35:28Z)
• Character-Aware Models Improve Visual Text Rendering [57.19915686282047]
  現在の画像生成モデルは、十分に整形されたビジュアルテキストを生成するのに苦労している。 文字認識モデルは、新しい綴りタスクに大きな利益をもたらす。 われわれのモデルでは、ビジュアルスペルの精度は比較的高く、稀な単語の競合よりも30以上の精度が向上した。
  論文  参考訳（メタデータ） (2022-12-20T18:59:23Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• Bad Characters: Imperceptible NLP Attacks [16.357959724298745]
  敵対的な例のクラスは、ブラックボックスの設定でテキストベースのモデルを攻撃するために使用することができる。 単一の知覚不可能なエンコーディングインジェクションでは、攻撃者は脆弱なモデルの性能を大幅に低下させることができる。 弊社の攻撃は、MicrosoftやGoogleなど、現在展開中の商用システムに対するものだ。
  論文  参考訳（メタデータ） (2021-06-18T03:42:56Z)
• Detecting Adversarial Examples by Input Transformations, Defense Perturbations, and Voting [71.57324258813674]
  畳み込みニューラルネットワーク(CNN)は、視覚認識タスクにおいて超人的性能に達することが証明されている。 CNNは敵の例、すなわち不正な出力をネットワークに強制する悪意のある画像によって簡単に騙される。 本稿では,画像変換による敵例の検出を幅広く検討し,新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-01-27T14:50:41Z)
• Adversarial Watermarking Transformer: Towards Tracing Text Provenance with Data Hiding [80.3811072650087]
  自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。 本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。 AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
  論文  参考訳（メタデータ） (2020-09-07T11:01:24Z)
• Visual Attack and Defense on Text [18.513619521807286]
  テキストの文字を視覚的に類似した文字に修正すると、検査システムやその他の条件を騙すためにスパムに悩まされることが多い。 我々は、通常のテキストを理解する能力を失うことなく、攻撃を防御するためのビジョンベースモデルと敵の訓練を謝罪する。
  論文  参考訳（メタデータ） (2020-08-07T15:44:58Z)
• BAE: BERT-based Adversarial Examples for Text Classification [9.188318506016898]
  我々は,BERTマスマスキング言語モデルからコンテキスト摂動を用いて,敵の例を生成するブラックボックス攻撃であるBAEを提案する。 BAEは, 文法性やセマンティック・コヒーレンスを向上した逆例を生成することに加えて, より強力な攻撃を行うことを示す。
  論文  参考訳（メタデータ） (2020-04-04T16:25:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。