論文の概要: Search-Based Testing of Modality Sensitivity in Vision Language Models

• arxiv url: http://arxiv.org/abs/2610.32360v1
• Date: Fri, 23 Oct 2026 08:52:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.43951
• Title: Search-Based Testing of Modality Sensitivity in Vision Language Models
• Title（参考訳）: 視覚言語モデルにおけるモダリティ感度の探索に基づくテスト
• Abstract要約: MoSTは、画像のみ、テキストのみ、関節摂動を比較することで、モダリティ感度を特徴付けるブラックボックステスティングフレームワークである。 画像ネットと駆動画像上でオブジェクトローカライゼーションを行う4つのビジョン言語モデル上でMoSTを評価する。
• 参考スコア（独自算出の注目度）: 0.5368630420272898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) process images and text jointly, yet robustness evaluations often perturb these inputs separately or assess only predefined corruption levels. Such evaluations provide limited evidence of which modality is more susceptible to perturbations and whether smaller changes across both modalities can jointly expose failures. We present MoST, a black-box testing framework that characterizes modality sensitivity by comparing image-only, text-only, and joint perturbations. MoST uses multi-objective search to select and combine perturbations and adjust their severity, seeking prediction degradation while limiting changes to images and prompts. We evaluate MoST on four VLMs performing object localization on ImageNet and driving images. The models exhibit distinct sensitivities: textual perturbations dominate for some, whereas others are susceptible across both modalities. In several configurations, joint perturbations match or exceed the effectiveness of single-modality perturbations with smaller modifications to each input. In a human study, 60-76% of assessments across models judge the perturbed inputs sufficiently understandable to perform the task, and human localization is more accurate than that of the corresponding VLMs. These results show that evaluating modalities separately can overlook failure-inducing combinations and that modality sensitivity provides a more detailed account of VLM robustness than aggregate failure rates alone.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像とテキストを共同で処理するが、堅牢性の評価は、しばしばこれらの入力を個別に摂動させるか、事前に定義された汚職レベルのみを評価する。 このような評価は、モダリティが摂動の影響を受けやすいか、そして両方のモダリティにまたがるより小さな変化が、障害を共同で露呈できるかという限定的な証拠を提供する。 画像のみ、テキストのみ、関節摂動を比較することで、モダリティ感度を特徴付けるブラックボックステストフレームワークであるMoSTを提案する。 MoSTは多目的探索を用いて摂動を選択して組み合わせ、その重症度を調整し、画像やプロンプトの変更を制限しながら予測劣化を求める。 画像ネットと駆動画像上でオブジェクトローカライズを行う4つのVLM上でMoSTを評価する。 テキストの摂動はいくつかの点で支配的であり、他のモデルは両方のモダリティで受容可能である。 いくつかの構成では、関節の摂動は入力ごとに小さな変更を加えて単一モードの摂動の有効性に一致または超える。 人間の研究では、モデル全体の60-76%が、タスクを実行するのに十分な摂動入力を判断し、人間のローカライゼーションは対応するVLMのそれよりも正確である。 これらの結果から, モダリティを個別に評価することで, 障害発生の組合せを見落とせること, モダリティ感度は, 総合的な失敗率よりも, VLMのロバスト性についてより詳細に説明できることが示唆された。

関連論文リスト

• Text Over Image: Auditing Multimodal Robustness in Synthetic Medical Image Detection [38.146353416394234]
  我々は、画像記録インタフェースにおけるマルチモーダルロバスト性の監査として、合成医用画像検出を再構成する。 メタデータのコンテキストだけを変えることで、信頼性の判断を覆すことがわかりました。 そこで本研究では,モデルの再学習を伴わずに,予測時間短縮パイプラインを用いて前兆ショートカットの検出と中和を行う。
  論文  参考訳（メタデータ） (2026-06-24T04:08:41Z)
• Beyond Standard Benchmarks: A Systematic Audit of Vision-Language Model's Robustness to Natural Semantic Variation Across Diverse Tasks [11.064940886724257]
  本稿では,視覚言語モデル(VLM)の自然なシナリオ下での体系的評価フレームワークを提案する。 ゼロショット画像分類,セマンティックセグメンテーション,視覚的質問応答において,選択したVLMの自然な対向性能を測定した。 解析の結果,頑健なCLIPモデルでは自然の敵対的脆弱性が増幅され,CLIPモデルでは自然言語による敵対的事例のパフォーマンスが著しく低下することが判明した。
  論文  参考訳（メタデータ） (2026-04-06T06:48:32Z)
• VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models [64.56065206447788]
  ビジョン言語モデル(VLM)は、標準の高品質なデータセット上で強力なパフォーマンスを達成する。 VLM-RobustBenchはノイズ、ブラー、天気、デジタル、幾何学にまたがる49種類の拡張型にまたがるベンチマークである。 低重度空間摂動は、視覚的に重度な光度劣化よりも、しばしば性能を低下させる。
  論文  参考訳（メタデータ） (2026-03-06T10:58:02Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• More Images, More Problems? A Controlled Analysis of VLM Failure Modes [80.64323947730905]
  大規模視覚言語モデル (LVLM) は目覚ましい能力を示しているが、複数の画像に対する理解と推論の能力は未解明のままである。 LVLMのマルチイメージ能力を厳格に評価する新しいベンチマークMIMICを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T18:45:13Z)
• LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models [49.92148175114169]
  制御された摂動を7次元にわたって導入することにより,系統的な脆弱性解析を行う。 モデルは、カメラの視点やロボットの初期状態を含む摂動要因に対して極端に敏感である。 驚くべきことに、モデルは言語の変化にほとんど敏感であり、さらなる実験により、モデルは言語命令を完全に無視する傾向があることが明らかになった。
  論文  参考訳（メタデータ） (2025-10-15T14:51:36Z)
• Evaluating Robustness of Vision-Language Models Under Noisy Conditions [0.0176290054713643]
  VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて、例外的な成功を収めている。 制御摂動下での複数の最先端VLMの性能を評価するための総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-15T22:31:21Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• Visual Perturbation and Adaptive Hard Negative Contrastive Learning for Compositional Reasoning in Vision-Language Models [16.405694961196925]
  視覚言語モデル(VLM)はマルチモーダルタスク、特に構成推論(CR)タスクに必須である。 既存の手法は主にテキストベースのハードネガティブサンプルを生成することによってモデルを微調整する。 AHNPLはテキストベースのハードネガティブを視覚領域に翻訳し、モデルをトレーニングするために意味的に乱された画像ベースのネガティブを生成する。
  論文  参考訳（メタデータ） (2025-05-21T14:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。