論文の概要: On the Adversarial Robustness of Discrete Image Tokenizers

• arxiv url: http://arxiv.org/abs/2602.18252v1
• Date: Fri, 20 Feb 2026 14:39:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.350575
• Title: On the Adversarial Robustness of Discrete Image Tokenizers
• Title（参考訳）: 離散像整形器の対向ロバスト性について
• Authors: Rishika Bhagwatkar, Irina Rish, Nicolas Flammarion, Francesco Croce,
• Abstract要約: まず、離散トークン化器によって抽出された特徴を摂動させることを目的とした攻撃を定式化し、抽出したトークンを変更する。 我々は、教師なしの敵の訓練で人気のあるトークンライザを微調整し、他のすべてのコンポーネントを凍結させます。 提案手法は,教師なし攻撃とエンドツーエンド攻撃の両方に対するロバスト性を大幅に向上させ,未知のタスクやデータに対して良好に一般化する。
• 参考スコア（独自算出の注目度）: 56.377796750281796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete image tokenizers encode visual inputs as sequences of tokens from a finite vocabulary and are gaining popularity in multimodal systems, including encoder-only, encoder-decoder, and decoder-only models. However, unlike CLIP encoders, their vulnerability to adversarial attacks has not been explored. Ours being the first work studying this topic, we first formulate attacks that aim to perturb the features extracted by discrete tokenizers, and thus change the extracted tokens. These attacks are computationally efficient, application-agnostic, and effective across classification, multimodal retrieval, and captioning tasks. Second, to defend against this vulnerability, inspired by recent work on robust CLIP encoders, we fine-tune popular tokenizers with unsupervised adversarial training, keeping all other components frozen. While unsupervised and task-agnostic, our approach significantly improves robustness to both unsupervised and end-to-end supervised attacks and generalizes well to unseen tasks and data. Unlike supervised adversarial training, our approach can leverage unlabeled images, making it more versatile. Overall, our work highlights the critical role of tokenizer robustness in downstream tasks and presents an important step in the development of safe multimodal foundation models.
• Abstract（参考訳）: 離散画像トークンーは、有限語彙からのトークンのシーケンスとして視覚入力を符号化し、エンコーダのみ、エンコーダのみ、デコーダのみのモデルを含むマルチモーダルシステムで人気を集めている。 しかし、CLIPエンコーダとは異なり、敵攻撃に対する脆弱性は調査されていない。 この話題を最初に研究した研究は、まず、個別のトークン化剤によって抽出された特徴を摂動させることを目的とした攻撃を定式化し、それによって抽出されたトークンを変更することである。 これらの攻撃は計算的に効率的で、アプリケーションに依存しず、分類、マルチモーダル検索、キャプションタスクで効果的である。 第二に、ロバストなCLIPエンコーダに関する最近の研究に触発されて、この脆弱性を防御するために、教師なしの敵のトレーニングで人気のあるトークンを微調整し、他のすべてのコンポーネントを凍結させています。 教師なしとタスク非依存ではあるものの、教師なしとエンドツーエンドの両方の教師なしの攻撃に対する堅牢性を大幅に向上させ、見えないタスクやデータに対してうまく一般化する。 教師付き対人訓練と異なり,本手法ではラベルのない画像の活用が可能であり,より汎用性が高い。 全体として、下流タスクにおけるトークン化の堅牢性の重要な役割を強調し、安全なマルチモーダル基盤モデルの開発において重要なステップを示す。

関連論文リスト

• ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
  ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。 トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-24T15:47:49Z)
• Adversarial Robustness for Unified Multi-Modal Encoders via Efficient Calibration [12.763688592842717]
  統合マルチモーダルエンコーダにおける敵の脆弱性の包括的研究について述べる。 音声や点雲などの視覚的でない入力は、特に脆弱である。 本手法は,エプシロン=4/255で最大47.3%の強靭性を向上する。
  論文  参考訳（メタデータ） (2025-05-17T08:26:04Z)
• Manipulating Multimodal Agents via Cross-Modal Prompt Injection [34.35145839873915]
  マルチモーダルエージェントにおいて、これまで見過ごされていた重要なセキュリティ脆弱性を特定します。 攻撃者が複数のモードにまたがって敵の摂動を埋め込む新たな攻撃フレームワークであるCrossInjectを提案する。 本手法は,攻撃成功率を少なくとも30.1%向上させることで,最先端の攻撃よりも優れる。
  論文  参考訳（メタデータ） (2025-04-19T16:28:03Z)
• Benchmarking Robust Self-Supervised Learning Across Diverse Downstream Tasks [9.207022068713867]
  複数の下流タスクにまたがる自己監督型視覚エンコーダの対向ロバスト性に関する包括的実証評価を行った。 我々の攻撃はエンコーダの埋め込みスペースと下流タスク出力レベルで動作する。 基礎モデルの目的は一度に複数のアプリケーションに対応することであるため,より広範にエンコーダの堅牢性を高める必要性が明らかとなった。
  論文  参考訳（メタデータ） (2024-07-17T14:12:34Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Robustness of Unsupervised Representation Learning without Labels [92.90480374344777]
  モデルとタスクに依存しない,ラベルのない,教師なしのロバストネス尺度のファミリーを提案する。 本研究は, 線形プローブによる検証を行い, MOCOv2の場合, 対向トレーニングの結果が3倍の精度で得られたことを示す。
  論文  参考訳（メタデータ） (2022-10-08T18:03:28Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• Can't Steal? Cont-Steal! Contrastive Stealing Attacks Against Image Encoders [23.2869445054295]
  自己教師付き表現学習技術は、下流のタスクに不利なリッチな特徴に画像をエンコードする。 専用モデル設計と大量のリソースの要求は、潜在的なモデル盗難攻撃のリスクに画像エンコーダを露出させる。 本研究では,コントラスト学習に基づく攻撃であるCont-Stealを提案する。
  論文  参考訳（メタデータ） (2022-01-19T10:27:28Z)
• Detection of Adversarial Supports in Few-shot Classifiers Using Feature Preserving Autoencoders and Self-Similarity [89.26308254637702]
  敵対的なサポートセットを強調するための検出戦略を提案する。 我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。 提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
  論文  参考訳（メタデータ） (2020-12-09T14:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。