論文の概要: Beyond Benchmarks: Using VLMs to Reveal Systematic Classification Failures Under Real World Conditions

• arxiv url: http://arxiv.org/abs/2609.11126v1
• Date: Thu, 10 Sep 2026 06:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.218612
• Title: Beyond Benchmarks: Using VLMs to Reveal Systematic Classification Failures Under Real World Conditions
• Title（参考訳）: ベンチマークを超えて: VLMを使って実世界の状況下での分類失敗を発見
• Abstract要約: この研究は、検証と検証プロセスを高速化するためにビジョン言語モデル(VLM)の使用について検討する。 このようなVLMベースのメソッドを防衛状況にデプロイすることは、2つの大きな課題をもたらす。 本研究は,防衛用V&VにおけるVLM法の適用性について検討した。
• 参考スコア（独自算出の注目度）: 0.6157382820537719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verification and validation (V&V) of classification models is crucial to enable a wide range of sensor processing applications. Currently, the V&V process relies on time-consuming manual inspection of erroneous samples to find meaningful patterns. This work explores the use of Vision Language Models (VLMs) to speed up this laborious process. VLMs are trained to embed images into a semantically meaningful vector representation, from which human-interpretable systematic errors can be distilled. Deploying such VLM-based methods in a defence context introduces two major challenges: (1) the defence domain is underrepresented in the training data of VLMs, and (2) surroundings and context are less diverse than for other domains. This study provides an initial assessment of the suitability of VLM-based methods for V&V of defence applications. We propose a VLM-based error slice detection (ESD) method that independently groups and labels systematic errors made by a classification model. We demonstrate that this method is able to identify operationally-relevant artificially added perturbations in a non-military dataset. In a military context, our method clusters and describes images based on their surroundings, but also exhibits overlap between cluster descriptions. We further investigate the difference in embedding variation between our military and non-military dataset, which remains a topic of interest. Although the results do not yet warrant fully automated V&V through VLM-based ESD, they show that VLMs could be used to accelerate V&V processes in the future.
• Abstract（参考訳）: 分類モデルの検証と検証(V&V)は、広範囲のセンサ処理アプリケーションを可能にするために不可欠である。 現在、V&Vプロセスは、意味のあるパターンを見つけるのに、誤ったサンプルの時間を要する手作業による検査に依存している。 本研究は,視覚言語モデル(VLM)を用いて,この手間のかかるプロセスを高速化する。 VLMはイメージを意味論的に意味のあるベクトル表現に埋め込むように訓練され、そこから人間の解釈可能な体系的誤りを蒸留することができる。 1)防衛領域はVLMのトレーニングデータに不足しており、(2)周囲や環境は他のドメインに比べて多様性が低い。 本研究は,防衛用V&VにおけるVLM法の適用性について検討した。 本稿では,VLMに基づくエラースライス検出(ESD)手法を提案する。 本手法は,非軍事的データセットにおいて,操作に関連のある人工摂動を識別できることを実証する。 軍事的文脈では,我々の手法は周囲の画像をクラスタ化して記述するが,クラスタ記述の重複も示している。 さらに、軍事的および非軍事的データセットの埋め込み変動の違いについて検討する。 VLMをベースとしたESDによる完全自動V&Vの保証はまだ行われていないが、将来的にはVLMがV&Vプロセスの高速化に有効であることが示されている。

関連論文リスト

• Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders [54.06522068041745]
  VLM(Vision-Language Models)は、拡散に基づく画像編集の条件付バックボーンとしてますます利用されている。 スタンドアロンのVLMは強力なローカライゼーション機能を示しているが、パイプラインの編集はこの精度を維持するのに苦労することが多い。 本研究では,VLMを条件エンコーダとして扱うことに起因することを仮説として,この性能ギャップについて検討する。
  論文  参考訳（メタデータ） (2026-07-07T16:11:13Z)
• DroneFINE: Domain-Aware Parameter-Efficient Fine-Tuning of Vision-Language Detectors for Drone Images [50.96240625673857]
  DroneFINEは、VLMベースのドローン画像検出器用に設計された2つのドメイン対応補完モジュールからなる、新しいPEFTパラダイムである。 DroneFINEは既存のPEFTメソッドを著しく上回り、完全な微調整に匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-01T02:27:40Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• Cross-Modal Attention Guided Unlearning in Vision-Language Models [16.460281156521646]
  VLM(Vision-Language Models)は、マルチモーダル理解および推論タスクにおいて、膨大な能力を示す。 VLMは、クエリの視覚的コンテキストがテキストに加えてセンシティブな情報も含んでいる可能性があるため、このプロセスに複雑さの層を追加します。 我々は、軽量で効率的なVLMアンラーニングフレームワークであるCross-Modal Attentioned Unlearning(CAGUL)を定式化する。
  論文  参考訳（メタデータ） (2025-10-08T21:21:59Z)
• On the Reliability of Vision-Language Models Under Adversarial Frequency-Domain Perturbations [53.611451075703314]
  VLM(Vision-Language Models)は、視覚コンテンツ推論のための知覚モジュールとして使われることが多い。 これらの特徴変換が,画像の自動キャプションタスクの信頼度/ディープフェイク検出にどのような影響を及ぼすかを示す。
  論文  参考訳（メタデータ） (2025-07-30T05:41:29Z)
• VERA: Explainable Video Anomaly Detection via Verbalized Learning of Vision-Language Models [20.92507667350599]
  本稿では、視覚言語モデルによるビデオ異常検出を可能にするVERAという言語学習フレームワークを提案する。 VERAは、VADに必要な複雑な推論を、よりシンプルでより焦点を絞った質問のリフレクションに分解する。 推論中、VERAは学習した質問をモデルプロンプトに埋め込んで、セグメントレベルの異常スコアを生成するVLMをガイドする。
  論文  参考訳（メタデータ） (2024-12-02T04:10:14Z)
• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• Why are Visually-Grounded Language Models Bad at Image Classification? [39.76294811955341]
  GPT-4VやLLaVAといった視覚的言語モデル(VLM)を用いて画像分類タスクを再検討する。 既存のプロプライエタリかつパブリックなVLMは、ImageNetのような標準画像分類ベンチマークにおいてCLIPを著しく上回っていることがわかった。 画像分類のための重要な情報は、VLMの潜在空間に符号化されるが、十分なトレーニングデータで効果的に復号化できる。
  論文  参考訳（メタデータ） (2024-05-28T17:57:06Z)
• Can Large Vision-Language Models Correct Semantic Grounding Errors By Themselves? [61.899791071654654]
  本稿では,視覚言語モデル(VLM)が,フィードバックの「受信」によって意味的接地を改善することができるかどうかを検討する。 適切に刺激すれば、VLMは1ステップと反復の両方でフィードバックを活用できる。 検討したすべての設定において、すべてのモデルにまたがる自動フィードバックを用いて、基底精度を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2024-04-09T17:59:04Z)
• Harnessing Large Language Models for Training-free Video Anomaly Detection [34.76811491190446]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を時間的に検出することを目的としている。 トレーニングベースのメソッドはドメイン固有のものになりがちなので、実践的なデプロイメントにはコストがかかる。 Language-based VAD (LAVAD)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T09:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。