論文の概要: When Prompts Ignore Structure: Graph-Based Attribute Reasoning for Calibrated VLMs
- arxiv url: http://arxiv.org/abs/2607.07395v1
- Date: Wed, 08 Jul 2026 13:31:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.393564
- Title: When Prompts Ignore Structure: Graph-Based Attribute Reasoning for Calibrated VLMs
- Title（参考訳）: プロンプトIgnore構造:キャリブレーションVLMのためのグラフベースの属性推論
- Abstract要約: 本稿では,属性グラフ内の(クラス,属性)ペアをノードとして表現するARGTCAを提案する。
また,ARGTCA-DIVは平均予測誤差(ECE)を約37%削減することを示した。
また,ARGTCA-DISCは第2のベスト変種として一貫して機能し,ベースラインよりも平均ECEを約17%削減することを示した。
- 参考スコア（独自算出の注目度）: 4.6556684245088125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable confidence estimation remains a key limitation of test-time adaptation in vision-language models (VLMs), where prompt tuning improves zero-shot accuracy but often degrades calibration due to entropy-driven overconfidence. Prior approaches mitigate this using LLM-derived class attributes and contrastive regularization, yet treat attributes independently, ignoring their relational structure. We propose ARGTCA, which represents (class, attribute) pairs as nodes in a Symbolic Attribute Graph and trains a Graph Attention Network (GAT) using contrastive objectives to produce structurally informed embeddings that capture inter-attribute dependencies. We introduce two attribute selection strategies: ARGTCA-DIV for intra-class diversity and ARGTCA-DISC for inter-class discrimination. Experiments across nine benchmarks show that ARGTCA-DIV reduces average Expected Calibration Error (ECE) by approximately ~37% over baselines, while ARGTCA-DISC consistently performs as the second-best variant, reducing average ECE by approximately ~17% over baselines. These results suggest that modeling symbolic attribute interactions provides a principled approach for reliable test-time adaptation in VLMs.
- Abstract（参考訳）: 信頼度推定は視覚言語モデル(VLM)におけるテスト時間適応の鍵となる限界であり、即時チューニングはゼロショット精度を改善するが、エントロピー駆動の過信によるキャリブレーションを劣化させることが多い。
以前のアプローチでは、LLM由来のクラス属性と対照的な正規化を使用してこれを緩和するが、属性を独立に扱い、それらの関係構造を無視している。
本稿では,Symbolic Attribute Graphのノードとして(クラス,属性)ペアを表現するARGTCAを提案する。
本稿では,クラス内多様性のためのARGTCA-DIVとクラス間差別のためのARGTCA-DISCの2つの属性選択戦略を紹介する。
9つのベンチマークでの実験では、ARGTCA-DIVは平均校正誤差(ECE)を平均で約37%減らし、ARGTCA-DISCは平均で約17%減らした。
これらの結果から, VLMの信頼性試験時間適応には, シンボリック属性の相互作用のモデル化が基本的手法である可能性が示唆された。
関連論文リスト
- Geometry-Aware Uncertainty Coresets for Robust Visual In-Context Learning in Histopathology [8.2867621159451]
GAUCは,事前学習されたマルチモーダル埋め込み空間で直接動作する,トレーニング不要なコアセット選択法である。
CRC-100K と MHIST が複数のオープンソース VLM アーキテクチャにまたがっている場合、GAUC は精度、キャリブレーション、高速な勾配ロバスト性を改善している。
論文 参考訳（メタデータ） (2026-05-18T13:54:04Z) - FACTOR: Counterfactual Training-Free Test-Time Adaptation for Open-Vocabulary Object Detection [63.91351553178842]
FACTORはオープン語彙オブジェクト検出のためのトレーニング不要なテスト時間適応である。
属性依存性の予測を選択的に抑制するために、属性の感度、意味的関連性、予測のバリエーションを定量化する。
PASCAL-C, COCO-C, FoggyCityscapes の実験では、FACTOR が従来の TTA 法より一貫して優れていたことが示されている。
論文 参考訳（メタデータ） (2026-05-05T02:31:18Z) - Concept Regions Matter: Benchmarking CLIP with a New Cluster-Importance Approach [20.898059440239603]
クラスタベースの概念重要度(CCI)は、新しい解釈可能性手法である。
CCIは、忠実度ベンチマークの新たな最先端を定めている。
今回,18種類のCLIPの包括的評価を行った。
論文 参考訳（メタデータ） (2025-11-17T05:01:24Z) - Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。
大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。
本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
論文 参考訳（メタデータ） (2025-10-08T10:09:47Z) - Knowledge Regularized Negative Feature Tuning of Vision-Language Models for Out-of-Distribution Detection [54.433899174017185]
信頼性の高い機械学習モデルを構築するには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
我々はKR-NFT(Knowledge Regularized Negative Feature Tuning)と呼ばれる新しい手法を提案する。
NFTは、事前訓練されたテキスト特徴に分布認識変換を適用し、正および負の特徴を異なる空間に効果的に分離する。
ImageNetデータセットから数発のサンプルをトレーニングすると、KR-NFTはID分類精度とOOD検出を改善するだけでなく、FPR95を5.44%削減する。
論文 参考訳（メタデータ） (2025-07-26T07:44:04Z) - Black Sheep in the Herd: Playing with Spuriously Correlated Attributes for Vision-Language Recognition [8.950906917573986]
VLM(Vision-Language Models)は、分布内精度と分布外一般化のバランスをとるジレンマを示す。
近年の研究では、視覚属性などの低レベル概念を活用して一般化を高めている。
この研究は、VLMが、カテゴリと同一であるが本質的にはその一部ではないが、突発的に相関する属性である意思決定に、小さな属性のサブセットを過度に依存していることを明らかにする。
論文 参考訳（メタデータ） (2025-02-19T12:05:33Z) - Dissecting the Failure of Invariant Learning on Graphs [36.11431280689549]
本研究では、2つの顕著な不変学習法の性能を理論的に判別する構造因果モデル(SCM)を開発した。
我々は,同じクラスに設定されたクロス環境表現をアライメントすることで,突発的特徴を明示的に排除する,クロス環境内アライメント(CIA)を提案する。
さらに、隣接ラベルの分布を利用してノード表現を選択的に整列させるCIA-LRA(Localized Reweighting Alignment)を提案する。
論文 参考訳（メタデータ） (2024-11-05T06:36:48Z) - Matcha: Mitigating Graph Structure Shifts with Test-Time Adaptation [66.40525136929398]
テスト時間適応(TTA)は、ソースドメインに再アクセスすることなく、トレーニング済みのモデルをターゲットドメインに適応できる能力によって注目を集めている。
グラフの構造シフトへの効果的かつ効率的な適応を目的とした,革新的なフレームワークであるMatchaを提案する。
合成と実世界の両方のデータセットに対するMatchaの有効性を検証し、構造と属性シフトの様々な組み合わせにおける頑健さを実証した。
論文 参考訳（メタデータ） (2024-10-09T15:15:40Z) - DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。
DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2024-08-01T07:08:11Z) - Fairness via Adversarial Attribute Neighbourhood Robust Learning [49.93775302674591]
本稿では,分類ヘッドを損なうために,UnderlineRobust underlineAdversarial underlineAttribute underlineNeighbourhood (RAAN)損失を原則として提案する。
論文 参考訳（メタデータ） (2022-10-12T23:39:28Z) - Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。
ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。
RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
論文 参考訳（メタデータ） (2020-07-05T21:42:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。