論文の概要: The Uncontrolled Variable: Vision-Language Model Refusal Responds to Image Presence in Ways Risk Cannot Explain

• arxiv url: http://arxiv.org/abs/2609.26174v1
• Date: Wed, 12 Aug 2026 15:45:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.912507
• Title: The Uncontrolled Variable: Vision-Language Model Refusal Responds to Image Presence in Ways Risk Cannot Explain
• Title（参考訳）: 制御不能な変数:リスクを説明できない方法でのイメージ存在に応答する視覚言語モデル拒絶
• Abstract要約: VLM(Vision-Language Model)の安全性は、要求が何を要求するかによって異なります。 安全に整合したVLMは、画像が添付されているかどうかという要求の形式的特性に対する重要な拒絶も示します。
• 参考スコア（独自算出の注目度）: 23.126203285585934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Model (VLM) safety is expected to depend on what a request asks for. We show that safety-aligned VLMs also key refusal on a property of a request's form: whether an image is attached, holding everything the request asks fixed. Attaching a blank canvas - unreadable, unrelated to the request, identical across prompts - shifts refusal by tens of percentage points, with no defense in the loop. The shift is not blanket caution. Neutral instructions are almost unaffected while borderline-benign prompts move sharply, so the cost falls on sensitivity-adjacent traffic: benign questions about privacy, self-harm and violence. Attachment alone is sufficient, while the image's properties set the price: a black canvas costs substantially more than a white one of identical size, and on an open checkpoint the carrying axis is pixel count. Nor is the shift under instructional control - telling the model the image is a placeholder to be disregarded removes only a fraction of it, and on one model asserting that an attachment exists moves refusal substantially with nothing attached. Attachment may correlate with risk in deployment; what these models do with it does not track risk. It is not the serving stack, since the same weights reached two ways behave alike, nor a property of VLMs as such, since several open-weight checkpoints show nothing. It belongs to particular aligned checkpoints, one of them open. It is also decoupled from what it buys: the canvas does prevent some attack success on a matched harmful set, but far less than it costs, and its sign is not fixed - on one open model the identical canvas makes the model markedly easier to attack. Image presence is not a default a deployer chose or priced; it is an uncontrolled variable inherited with the weights.
• Abstract（参考訳）: VLM(Vision-Language Model)の安全性は、要求が何を要求するかによって異なります。 我々は、安全に整合したVLMが、要求のフォームのプロパティーである画像がアタッチされているかどうか、要求が要求するものをすべて保持しているかどうかを、キーで拒否することを示す。 空白のキャンバス(可読性がなく、リクエストとは無関係で、プロンプト全体で同じ)を添付すると、ループに防御がなく、数パーセントのポイントで拒絶される。 シフトはブランケットの注意ではありません。 中立的な指示はほとんど影響を受けないが、境界線に従順なプロンプトは急激な動きをするので、コストは敏感なトラフィックにかかり、プライバシーや自傷行為、暴力に関する良質な疑問が浮き彫りになる。 黒いキャンバスは、同じサイズの白いキャンバスよりもかなり高く、開いたチェックポイントでは、搬送軸はピクセル数である。 イメージがプレースホルダーであることを示すことは、そのわずかな部分だけを取り除き、アタッチメントの存在を主張する1つのモデルでは、アタッチメントは、何もアタッチされていないまま、実質的に拒絶される。 アタッチメントは、デプロイメントのリスクと相関する可能性がある。 これはサーブスタックではなく、同じ重みが2つの方法で振る舞うためであり、VLMの特性は、いくつかのオープンウェイトチェックポイントが何も示さないためである。 それは特定の整列したチェックポイントに属し、そのうちの1つが開いています。 キャンバスはマッチした有害なセットに対する攻撃の成功を防ぐが、コストよりもはるかに少なく、そのサインは固定されておらず、あるオープンモデルでは同一のキャンバスが攻撃を著しく容易にする。 イメージの存在は、デプロイが選択または価格設定したデフォルトではなく、重み付けで継承された制御されていない変数である。

関連論文リスト

• Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models [58.59008920408855]
  本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。 AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。 標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
  論文  参考訳（メタデータ） (2026-09-05T13:45:09Z)
• Whose Refusal Is It? The Unmeasured Contribution of Black-Box Multimodal Guardrails [24.794304039477495]
  ガードレールの実際の安全のシェアは、そのすべてから本質的には、どれにも及ばない。 ガードブロックがモデルの応答を置き換えるため、スプリットは余分なコストでリカバリ可能である。
  論文  参考訳（メタデータ） (2026-08-09T11:19:30Z)
• Decoy Images Amplify Caption-Mediated Defenses Against Encoded Jailbreaks [7.766839238117721]
  画像入力と既存のブラックボックス防御との直感的相互作用を視覚-言語モデル上で報告する。 テキストのみのエンコード入力にASRをそのまま残したキャプション経由のディフェンス(ECSO)は、コンテンツフリーのデコイが添付されると最大7,3$ppまで低下する。 私たちはこれを、堅牢な防御ではなく、パイプラインの相互作用に関する観察として捉えています。
  論文  参考訳（メタデータ） (2026-08-02T07:00:49Z)
• OpenSafeIntent: Evaluating Intent-Calibrated Safe Completion Across Dual-Use Prompt Sets [6.985945816612278]
  OpenSafeIntentは、制御されたプロンプトセットのベンチマークで、基本的なタスクを固定しながら意図を変える。 この設計により、モデルが平均的に安全なように見えるのではなく、意図的なシフトでアシストを校正するかどうかを評価することができる。 幅広いモデルスイート全体で、プロンプトレベルの安全性が重要な障害を隠蔽していることが分かりました。
  論文  参考訳（メタデータ） (2026-07-02T11:14:52Z)
• Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models [54.097381112138]
  現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。 モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
  論文  参考訳（メタデータ） (2026-06-25T17:59:55Z)
• Invisible Safety Threat: Malicious Finetuning for LLM via Steganography [74.00809267925642]
  妥協された大きな言語モデルは、有害なコンテンツを隠蔽しながら適切な安全アライメントのファサードを維持することができる。 OpenAIファインタニングAPIの保護にもかかわらず、GPT-4.1のこの目に見えない安全脅威を実証する。 本稿では,コンテンツ安全分類のためのLlama-Guard-3-8Bを用いて,AdvBenchデータセット上での手法を定量的に評価する。
  論文  参考訳（メタデータ） (2026-03-09T08:48:27Z)
• SemBind: Binding Diffusion Watermarks to Semantics Against Black-Box Forgery Attacks [74.76909939060833]
  ブラックボックスの偽造攻撃は、証明と信頼に非常に大きなリスクをもたらす。 ブラックボックス偽造に抵抗する潜伏型透かしのフレームワークであるSemBindを提案する。 我々は,SemBindが有効である抗偽造の変異が,ブラックボックス偽造の誤認を著しく減少させることを示した。
  論文  参考訳（メタデータ） (2026-01-28T07:02:40Z)
• Instruction-Aligned Visual Attention for Mitigating Hallucinations in Large Vision-Language Models [14.739801223002262]
  LVLM(Large Vision-Language Model)は、画像を記述する際にも幻覚に悩まされ、存在しないオブジェクトを含む回答を生成する。 これらのモデルは、疑問に答えるために重要な情報を含まない無関係な画像トークンに過度に焦点をあてる傾向があることが報告されている。 本稿では,2つの異なる指示の下での注意重みの変化を比較することで,無関係なトークンを識別する命令適応型視覚注意(IAVA)アプローチを提案する。
  論文  参考訳（メタデータ） (2025-03-24T11:09:06Z)
• Mask and Restore: Blind Backdoor Defense at Test Time with Masked Autoencoder [50.1394620328318]
  既存のバックドア防御手法では、いくつかのバリデーションデータとモデルパラメータにアクセスする必要があることが多い。 Masked AutoEncoder (BDMAE) を用いたブラインドバックドアディフェンスの提案 BDMAEは、画像の構造的類似性と、テスト画像とMAE復元の間のラベルの整合性を用いて、可能な局所的なトリガを検出する。
  論文  参考訳（メタデータ） (2023-03-27T19:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。