Fugu-MT 論文翻訳(概要): $Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization

論文の概要: $Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization

arxiv url: http://arxiv.org/abs/2510.11296v1
Date: Mon, 13 Oct 2025 11:36:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 18:06:30.342508
Title: $Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization
Title（参考訳）: $Δ\mathrm{Energy}$:OOD検出とOOD一般化を改良した視覚言語アライメントにおけるエネルギー変化の最適化
Authors: Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye,
Abstract要約: 我々はDeltaEnergyという新しいエネルギーベースのOODスコアを導入する。 DeltaEnergyはバニラエネルギーベースのOODスコアを大幅に上回り、OOD検出に対する信頼性の高いアプローチを提供する。 EBMは、OODの検出を増強するだけでなく、ドメインに一貫性のあるヘッセンを生成することが理論的に証明されている。
参考スコア（独自算出の注目度）: 43.79061207312421
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent approaches for vision-language models (VLMs) have shown remarkable success in achieving fast downstream adaptation. When applied to real-world downstream tasks, VLMs inevitably encounter both the in-distribution (ID) data and out-of-distribution (OOD) data. The OOD datasets often include both covariate shifts (e.g., known classes with changes in image styles) and semantic shifts (e.g., test-time unseen classes). This highlights the importance of improving VLMs' generalization ability to covariate-shifted OOD data, while effectively detecting open-set semantic-shifted OOD classes. In this paper, inspired by the substantial energy change observed in closed-set data when re-aligning vision-language modalities (specifically by directly reducing the maximum cosine similarity to a low value), we introduce a novel OOD score, named {\Delta}Energy. {\Delta}Energy significantly outperforms the vanilla energy-based OOD score and provides a more reliable approach for OOD detection. Furthermore, {\Delta}Energy can simultaneously improve OOD generalization under covariate shifts, which is achieved by lower-bound maximization for {\Delta}Energy (termed EBM). EBM is theoretically proven to not only enhance OOD detection but also yields a domain-consistent Hessian, which serves as a strong indicator for OOD generalization. Based on this finding, we developed a unified fine-tuning framework that allows for improving VLMs' robustness in both OOD generalization and OOD detection. Extensive experiments on challenging OOD detection and generalization benchmarks demonstrate the superiority of our method, outperforming recent approaches by 10% to 25% in AUROC.
Abstract（参考訳）: 視覚言語モデル(VLM)に対する最近のアプローチは、高速な下流適応の実現に顕著な成功を収めている。現実世界の下流タスクに適用すると、VLMは必然的に、分散内(ID)データと分散外(OOD)データの両方に遭遇する。 OODデータセットには、共変量シフト(例:イメージスタイルの変更が知られている既知のクラス)とセマンティックシフト(例:テスト時間不明クラス)の両方が含まれていることが多い。このことは、オープンセットのセマンティックシフトしたOODクラスを効果的に検出しながら、シフトしたOODデータを共変させるVLMの一般化能力を改善することの重要性を強調している。本稿では,視覚言語モーダル性を再調整する際の閉集合データにおけるエネルギー変化(特に,コサイン類似度を低値に直接減少させること)に着想を得て,新しい OOD スコアである {\Delta}Energy を導入する。デルタエネルギーはバニラエネルギーベースのOODスコアを著しく上回り、OOD検出に対するより信頼性の高いアプローチを提供する。さらに、 {\Delta}Energy は共変量シフトの下で OOD の一般化を同時に改善することができ、これは {\Delta}Energy (termed EBM) の低バウンド最大化によって達成される。 EBMは、OODの検出を増強するだけでなく、OODの一般化の強力な指標であるドメイン一貫性ヘッセンをもたらすことが理論的に証明されている。そこで本研究では,OODの一般化とOOD検出の両面において,VLMの堅牢性を向上させるための統一的な微調整フレームワークを開発した。 OOD検出と一般化ベンチマークの徹底的な実験により,AUROCにおける最近の手法の10%から25%を上回り,本手法の優位性を実証した。

論文の概要: $Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization

関連論文リスト