論文の概要: VLTest: Finding Joint Image-Text Failures in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.30794v1
• Date: Thu, 22 Oct 2026 06:19:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.234359
• Title: VLTest: Finding Joint Image-Text Failures in Vision-Language Models
• Title（参考訳）: VLTest:ビジョンランゲージモデルにおける共同画像テキスト障害の検出
• Abstract要約: 視覚言語モデル(VLM)は、ソフトウェアシステムにますます組み込まれている。 ブラックボックスのVLMテスト手法であるVLTestを提案する。 VQGANの潜在コードとテキストの変種をリライト・エクスパンド・プルー・パイプラインで編集することで、画像の変種を生成する。
• 参考スコア（独自算出の注目度）: 8.992056170400305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are increasingly embedded in software systems. Testing them raises two problems. Mutating either input can change the expected answer, so an output change is not by itself a failure. Some failures appear only when both inputs are mutated; attributing them to the combination requires testing each mutation alone. We present VLTest, a black-box VLM testing approach. It generates image variants by editing VQGAN latent codes and text variants with a rewrite-expand-prune pipeline, filters variants likely to change the expected answer, and tests each variant alone before testing combinations, so every joint failure has four matched cells. A VLM judge confirms a failure only after checking that the input keeps the expected answer. On three tasks with eight VLMs, including two commercial API models, the oracle confirms 81.7% of the candidates, with 88.8% to 94.6% precision against human labels, and four-cell confirmation rejects 22.5% of joint candidates. Under the same budget, VLTest's generators find 1.8 to 2.5 times as many confirmed failures as SINVAD and TextFooler, and its joint tests find 91 to 197 attributed joint failures per 1,000 joint calls, 1.3 times as many as the same pairing applied to the baselines' variants.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、ソフトウェアシステムにますます組み込まれている。 テストは2つの問題を引き起こす。 どちらかの入力をミュートすると、期待する答えが変わるので、出力の変更はそれ自体が失敗ではない。 両方の入力がミュートされた場合にのみ、いくつかの障害が現れる。 ブラックボックスのVLMテスト手法であるVLTestを提案する。 VQGANの潜伏符号とテキスト変種をリライト・エクスパンド・プルー・パイプラインで編集して画像変種を生成する。 VLM判定器は、入力が期待された回答を保持することを確認した後のみ失敗を確認する。 2つの商用APIモデルを含む8つのVLMを持つ3つのタスクにおいて、オラクルは81.7%の候補を確認、88.8%から94.6%の精度で人間のラベルに対して、4セル認証は22.5%の候補を拒否する。 同じ予算の下では、VLTestのジェネレータはSINVADやTextFoolerの1.8倍から2.5倍の故障が確認され、共同テストでは1000回の共同呼び出しで91から197回、ベースラインの変種に適用されるものと同じ1.3倍の結合障害が検出された。

関連論文リスト

• Foreword: Pre-Generation Prediction and Characterisation of LLM Test Failures using the Jacobian Lens [6.515000286868857]
  LLMベースのソフトウェアをテストするのは高価で、各入力にはいくつかのサンプル応答が必要で、それぞれが高価なオラクルで判断される。 Forewordは、2つのアイデアに基づいて構築されたフレームワークで、パスとフェールの両方から学び、ヤコビアンレンズを通して入力を表現する。
  論文  参考訳（メタデータ） (2026-10-20T13:23:28Z)
• AdaT$^2$: Adaptive Test Transformations for Black-Box Boundary Testing of Conversational Agents [3.1965114352088295]
  AdaT$2$は、LLMがユーザとして振る舞う探索的な会話において、エージェントの応答からステートメントを抽出する。 ステートメントとテスト変換命令のペアによってガイドされた変換テストを記述する。 我々のベンチマークは、各境界の2つの側面を別々にカウントし、エージェントのプロンプト、ツールコード、知識ベースによって明確に定義された境界を区別します。
  論文  参考訳（メタデータ） (2026-10-07T14:19:02Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Beyond Rule-Based Mutation Testing: Test-Aware Mutant Generation Using Large Language Models [24.312896261115494]
  本稿では,LLMが単一プロンプトで問題文,正準解,ベーステストを受け取るテストアウェア変異生成を提案する。 我々は,HumanEval と MBPP ベンチマークの5つの LLM に対して,このアプローチを評価した。 テストアウェアは87.7%(HumanEval)と79.1%(MBPP)の故障率を示す
  論文  参考訳（メタデータ） (2026-09-24T17:27:18Z)
• Correct Tests Are Not Enough: Measuring and Training Oracle Conversion in Specification-Based Test Generation [14.44743150931186]
  自然言語仕様からテストを生成するには、異常な振る舞いを公開する入力と、正しい期待出力の両方が必要である。 我々は,この相互作用を,実行可能報酬分解とスイートレベルのオラクル変換測定を通じて研究する。 生成器は1つの応答で5つの入出力試験を共同で出力する。
  論文  参考訳（メタデータ） (2026-09-05T04:56:31Z)
• Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
  大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。 我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
  論文  参考訳（メタデータ） (2026-05-07T13:52:59Z)
• Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
  テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。 TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。 3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
  論文  参考訳（メタデータ） (2026-05-07T12:31:09Z)
• Learning to Generate Unit Tests for Automated Debugging [52.63217175637201]
  ユニットテスト(UT)は、コードの正確性を評価するだけでなく、大きな言語モデル(LLM)にフィードバックを提供する上でも重要な役割を果たします。 提案するUTGenは,LLMに対して,予測出力とともにエラーを示す単体テスト入力を生成することを教える。 UTGen は他の LLM ベースラインを7.59% 上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:51:43Z)
• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。 モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。