論文の概要: DiaVLo: Diagnosing Behaviours of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.22008v1
• Date: Fri, 18 Sep 2026 17:06:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.200276
• Title: DiaVLo: Diagnosing Behaviours of Vision-Language Models
• Title（参考訳）: DiaVLo:視覚言語モデルの振る舞いを診断する
• Abstract要約: 所望および観測されたVLM動作の仕様を構築するためのフレームワークであるDiaVLoを提案する。 また、VLMの振る舞いを操る最も影響力のある概念を特定するための因果推定も提供する。 実験の結果,DiaVLoはモデル性能と相関する動作ラベルを生成することがわかった。
• 参考スコア（独自算出の注目度）: 5.055643369790097
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision-language models (VLMs) rely on storing and transferring appropriate information across their sub-components. Verifying that the VLMs exhibit desired behaviours, while avoiding harmful ones, is central to their reliable deployment. Yet, methods that identify VLM behaviours remain scarce. We present DiaVLo, a diagnostic framework that leverages human curation and VLMs' generation capabilities to construct specifications of desired and observed VLM behaviours, surfacing potential misalignments. Beyond this, DiaVLo also provides causal estimates to identify the most influential concepts steering VLM behaviours. We evaluate DiaVLo on several open-source VLMs under both classification and generation conditions. Our experiments show that DiaVLo produces behaviour labels that correlate with model performance and provide context for measured performance. DiaVLo surfaced behaviours that are clearly aligned and misaligned, alongside patterns in how VLMs perceive, organise, and prioritise concepts.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、サブコンポーネント間の適切な情報の保存と転送に依存している。 VLMが望ましい行動を示すことを確認する一方で、有害な行動を避けることは、信頼性の高いデプロイメントの中心である。 しかし、VLMの動作を識別する手法は依然として乏しい。 本稿では、人間のキュレーションとVLMの生成能力を利用した診断フレームワークであるDiaVLoについて、望ましく観察されたVLM動作の仕様を構築する。 さらに、DiaVLoは、VLMの振る舞いを操縦する最も影響力のある概念を特定するための因果推定も提供している。 分類条件と生成条件の両方で,DiaVLoを複数のオープンソースVLM上で評価する。 実験の結果,DiaVLoはモデル性能と相関する動作ラベルを生成し,測定結果のコンテキストを提供することがわかった。 DiaVLoは、VLMが概念をどう認識し、組織化し、優先するかというパターンとともに、明確に整列し、不整合している振る舞いを表面化した。

関連論文リスト

• From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model [81.67708143891319]
  視覚言語モデル (VLM) は, 実世界の分布変化に敏感でありながら, 目覚ましいゼロショット能力を示した。 本稿では、VLMの推論と適応の目的を橋渡しし、algnameと呼ばれる原則付きVLM TTA手法を提案する。 実験により,本手法の有効性と効率を実証し,最先端の手法を最大7%,最先端の手法を最大7%上回る結果を得た。
  論文  参考訳（メタデータ） (2026-08-18T21:44:32Z)
• Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: From Evaluation to Diagnosis [63.49939245944781]
  我々は1100万の質問と0.28万の画像を含む総合的なきめ細かい評価ベンチマークであるFG-BMKを紹介する。 現在のLVLMは、視覚的表現、セマンティックグラウンドディング、モダリティアライメント、カテゴリーレベルの知識において、相互に絡み合ったボトルネックから生じる障害を伴って、微粒化認識器が不十分なままである。
  論文  参考訳（メタデータ） (2026-06-17T13:23:26Z)
• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models [43.09726338623949]
  Vision-Language-Action(VLA)モデルは、事前訓練された大規模なVision-Language Models(VLM)をポリシーバックボーンに統合する。 本稿では、VLMの選択と能力が下流のVLAポリシーのパフォーマンスにどのように変換されるかという、体系的に研究されることは滅多にない。 VLM4VLAは、汎用的なVLMを、学習可能なパラメータの小さなセットのみを用いてVLAポリシーに変換する、最小限の適応パイプラインである。
  論文  参考訳（メタデータ） (2026-01-06T09:58:24Z)
• dVLM-AD: Enhance Diffusion Vision-Language-Model for Driving via Controllable Reasoning [69.36145467833498]
  本稿では,拡散に基づく視覚言語モデルであるdVLM-ADを導入する。 nuScenes と WOD-E2E で評価すると、dVLM-AD はより一貫性のある推論・アクションのペアとなり、既存の駆動VLM/VLAシステムに匹敵する計画性能を達成する。
  論文  参考訳（メタデータ） (2025-12-04T05:05:41Z)
• Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization [42.41263928527529]
  VLA(Vision-Language-Action)モデルは、伝達可能な世界知識と視覚言語基盤を持つエージェントを支援できる。 しかし、これらのVLMがアクションモダリティに適合している場合、元の視覚的表現や知識がどの程度保存されているかははっきりしない。 本稿では,VLA微調整中の表現保持の系統的研究を行い,行動微調整が視覚的表現の劣化につながることを示す。
  論文  参考訳（メタデータ） (2025-10-29T15:20:10Z)
• Vlaser: Vision-Language-Action Model with Synergistic Embodied Reasoning [124.48672228625821]
  Vlaser - 相乗的具体的推論機能を備えたビジョン・ランゲージ・アクション・モデルを紹介する。 Vlaserは、様々な具体的推論ベンチマークで最先端のパフォーマンスを達成する。 提案手法は,WidowXベンチマークの最先端結果と,Google Robotベンチマークの競合性能を実現する。
  論文  参考訳（メタデータ） (2025-10-13T05:51:22Z)
• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• ViCor: Bridging Visual Understanding and Commonsense Reasoning with Large Language Models [27.5219975853389]
  事前学習された視覚・言語モデル (VLM) と大規模言語モデル (LLM) は,様々な視覚コモンセンス推論問題に長けている。 画像内容以外の結論を推測することが目的である場合、VLMは困難に直面し、LLMは十分な視覚的証拠を与えられた場合、その答えをよく推測するために常識を使用することができる。
  論文  参考訳（メタデータ） (2023-10-09T17:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。