論文の概要: The Pen is Mightier than the Pixel: Natural Textual Unlearnable Example for Large Vision Language Models
- arxiv url: http://arxiv.org/abs/2611.04817v1
- Date: Tue, 03 Nov 2026 12:46:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:50:18.515781
- Title: The Pen is Mightier than the Pixel: Natural Textual Unlearnable Example for Large Vision Language Models
- Title(参考訳): ペンはPixelより太い:大きな視覚言語モデルのための自然なテクスチュア・アンリーナブルな例
- Abstract要約: 本稿では、LVLM(Large Vision Language Models)に特化して、非学習可能な例(UE)を初めて探求する。
画像ラベルを微妙に操作することでLVLMを効果的に誤解を招くことができる新しいテキストベースのNatural Textual Unlearnable Examples (NTUE)を提案する。
以上の結果から, NTUEは, LVLM時代のマルチモーダルデータ保護のための実用的で堅牢なソリューションとしての可能性を示している。
- 参考スコア(独自算出の注目度): 16.95623877796508
- License:
- Abstract: The proliferation of Large Vision Language Models (LVLMs), trained on vast and often sensitive datasets, raised concerns regarding data privacy and unauthorized usage. Unlearnable Examples (UEs), which subtly perturb training data to mislead the models, have emerged as a promising defense method. This paper presents the first exploration of UEs specifically on LVLMs, which poses unique challenges due to their inherent multimodal nature. We propose a novel text-based perturbation method, Natural Textual Unlearnable Examples (NTUE), which can effectively mislead LVLMs by subtly manipulating the image label, establishing a shortcut between an identity of interest and a separate target, without introducing factual misinformation or affecting readability. Comprehensive experiments compared with traditional UE methods demonstrate the superior performance of NTUE. Our findings show that NTUE achieves a high success rate with a poison rate as low as 5%, underscoring its potential as a practical and robust solution for protecting multimodal data in the era of LVLMs.
- Abstract(参考訳): LVLM(Large Vision Language Models)の拡散は、広範かつ頻繁にセンシティブなデータセットに基づいてトレーニングされ、データのプライバシと不正使用に関する懸念を引き起こした。
Unlearnable Examples (UEs) は、モデルを誤誘導するために微妙に摂動する訓練データであり、有望な防御方法として現れている。
本稿では,LVLMに特化してUEの探索を行った。
画像ラベルを微妙に操作し、興味のある個人と別のターゲットとのショートカットを確立することで、事実の誤情報や可読性に影響を与えることなく、LVLMを効果的に誤解させることのできる、テキストベースの新しい摂動手法NTUE(Natural Textual Unlearnable Examples)を提案する。
従来のUE法と比較して総合的な実験はNTUEの優れた性能を示す。
以上の結果から, NTUEは, LVLM時代のマルチモーダルデータ保護のための実用的で堅牢なソリューションとしての可能性を示している。
関連論文リスト
- VIOLA: Towards Video In-Context Learning with Minimal Annotations [20.810620293371027]
我々は、豊富なラベルのないデータと最小限の専門家監督を相乗化するためのフレームワークVIOLAを紹介する。
我々のフレームワークは、低リソース環境で様々なベースラインを著しく上回り、最小限のアノテーションコストでロバストな適応を実現しています。
論文 参考訳(メタデータ) (2026-01-22T00:35:30Z) - Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector [97.92369017531038]
Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。
そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
論文 参考訳(メタデータ) (2024-10-30T10:33:10Z) - Debiasing Large Vision-Language Models by Ablating Protected Attribute Representations [7.052925981783274]
本稿では,テキスト生成時のバイアス属性を直接評価することで,LVLMのための新しい脱バイアスフレームワークを提案する。
本手法では, トレーニングを必要とせず, 比較的少数の代表バイアス出力が要求される。
我々の実験は、LVLMが保護属性に関連するテキストを生成することの妥当性を最小化できるだけでなく、合成データを使ってアブレーションを知らせることさえできることを示した。
論文 参考訳(メタデータ) (2024-10-17T19:02:31Z) - LIDAO: Towards Limited Interventions for Debiasing (Large) Language Models [19.18522268167047]
大規模言語モデル(LLM)は、様々な自然言語生成タスクにおいて印象的なパフォーマンスを達成した。
しかし、一部の人口集団に偏った、ネガティブで有害なコンテンツを生み出すことに苦しむ。
本稿では,(L)LMを高い流速で脱バイアスするフレームワークであるLIDAOを提案する。
論文 参考訳(メタデータ) (2024-06-01T20:12:54Z) - Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。
1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。
近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
論文 参考訳(メタデータ) (2024-04-25T13:10:48Z) - Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。
本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Sample Efficient Approaches for Idiomaticity Detection [6.481818246474555]
本研究は, 慣用性検出の効率的な手法を探索する。
特に,いくつかの分類法であるPET(Pattern Exploit Training)と,文脈埋め込みの効率的な方法であるBERTRAM(BERTRAM)の影響について検討した。
実験の結果,PETは英語のパフォーマンスを向上するが,ポルトガル語やガリシア語では効果が低下し,バニラmBERTと同程度の総合的な性能が得られた。
論文 参考訳(メタデータ) (2022-05-23T13:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。