論文の概要: Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation
- arxiv url: http://arxiv.org/abs/2608.13973v1
- Date: Fri, 14 Aug 2026 05:33:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.28953
- Title: Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation
- Title（参考訳）: 多モードゼロショット異常検出における補助モーダリティの再考:セマンティックフュージョンから条件変調へ
- Abstract要約: ゼロショット異常検出のためのプラグアンドプレイ補助条件拡張フレームワークを提案する。
本フレームワークは,RGB画像テキスト異常マッチング経路を保存し,RGB特徴改善のための条件信号として補助観測を用いる。
MVTec 3D-ADとEyecandiesの実験は、我々のフレームワークが複数のRGBベースのゼロショット異常検知器を一貫して改善していることを示している。
- 参考スコア（独自算出の注目度）: 38.070045759599225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent foundation model-based methods have endowed RGB images with strong zero-shot anomaly detection (ZSAD) through vision-language pretraining. However, RGB observations alone remain limited in perceiving anomalies dominated by geometric deformation, depth variation, or subtle surface changes. Auxiliary modalities can provide complementary structural information, but existing multimodal methods typically fuse them directly into a shared semantic space, which may disturb the text-aligned anomaly semantics established by RGB foundation models and often requires modality-specific architectures. To address this issue, we propose a plug-and-play auxiliary-conditioned enhancement framework for zero-shot anomaly detection. Instead of reconstructing a joint multimodal anomaly semantic space, our framework preserves the original RGB image-text anomaly matching pathway and uses auxiliary observations as conditional signals for RGB feature refinement, allowing auxiliary modalities to seamlessly enhance existing RGB-based zero-shot anomaly detectors. Specifically, a lightweight meta-learning module takes global RGB and auxiliary representations as input and generates sample-adaptive low-rank residual updates to determine how RGB features should be refined. We further construct uncertainty-aware spatial modulation from the initial RGB anomaly response and auxiliary reliability, which determines where local residual updates are strengthened or suppressed. This global-to-local conditional modulation enables selective multimodal enhancement while preserving the original RGB anomaly semantics. Extensive experiments on MVTec 3D-AD and Eyecandies demonstrate that our framework consistently improves multiple popular RGB-based zero-shot anomaly detectors, achieving state-of-the-art performance for multimodal zero-shot anomaly detection.
- Abstract（参考訳）: 基礎モデルに基づく最近の手法は、視覚言語による事前学習を通じて、強力なゼロショット異常検出(ZSAD)を備えたRGB画像を提供する。
しかし、RGB観測だけでは、幾何学的変形、深さの変化、微妙な表面の変化に支配される異常を知覚することに制限が残っている。
補助モダリティは相補的な構造情報を提供することができるが、既存のマルチモーダル手法はそれらを共有セマンティック空間に直接融合させ、RGBファンデーションモデルによって確立されたテキスト整列の異常セマンティクスを乱し、しばしばモダリティ固有のアーキテクチャを必要とする。
この問題に対処するために,ゼロショット異常検出のためのプラグアンドプレイ補助条件拡張フレームワークを提案する。
本稿では,RGB特徴量改善のための条件信号として補助観測を用い,既存のRGBベースのゼロショット異常検出器をシームレスに拡張する。
具体的には、軽量なメタ学習モジュールは、グローバルなRGBと補助的な表現を入力として取り、サンプル適応型低ランク残差更新を生成し、RGB機能をどのように洗練すべきかを決定する。
さらに、初期RGB異常応答と補助信頼性から不確実性を考慮した空間変調を構築し、局所的な更新が強化または抑制される場所を決定する。
このグローバル-ローカル条件変調は、元のRGBの異常なセマンティクスを保ちながら、選択的なマルチモーダル拡張を可能にする。
MVTec 3D-ADとEyecandiesの大規模な実験により、我々のフレームワークは複数のRGBベースのゼロショット異常検知器を一貫して改善し、マルチモーダルゼロショット異常検出のための最先端性能を実現している。
関連論文リスト
- BC-IHV: Conditioning the Color Space for Stable Rectified-Flow Low-Light Enhancement [51.79298431282401]
低照度画像強調は、入力ですでに支持されている上書き構造を使わずに、あいまいな露出を補正する必要がある。
本研究では, 異なる色度/強度の幹を通した対応を保ちながら, SA-RF(Structure-Anchored Rectified Flow)を提案する。
また,学習可能なBox-Cox極色空間であるBC-IHVを導入する。
論文 参考訳（メタデータ） (2026-08-22T08:43:00Z) - Bridging Severe Cross-Modal Misalignment: End-to-End Visible-Infrared Object Detection via Explicit Feature-Domain Affine Registration [17.74037850404483]
そこで本研究では,極端から端へ可視光を指向する物体検出器を提案する。
提案されたJFRDetは、DroneVehicle Misaligned (DVMA)上で69.7%$mathrmmAP_50$を達成する。
論文 参考訳（メタデータ） (2026-08-11T09:02:37Z) - Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。
深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。
Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
論文 参考訳（メタデータ） (2026-07-10T06:52:09Z) - Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking [58.338848435042536]
RGB-Eventトラッキングは、イベントセンサからRGB外観テクスチャと高密度時間運動キューを融合することにより、ローカライズを改善する。
現実世界のシーンは、従来のマルチモーダル融合を妨げる多様な構造的な信号劣化に悩まされる。
本稿では,RGBイベント追跡に適した階層的摂動・検索フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-24T23:34:06Z) - Frequency-Guided Fusion For RGB-Thermal Semantic Segmentation [0.6187780920448871]
本稿では,2つのConvNeXt V2バックボーン上に構築されたマルチモーダル核融合アーキテクチャを提案する。
MFNetとPST900の実験では、我々の最も軽い変種はそれぞれ61.73%、86.24% mIoUであり、35.43Mのパラメータしか得られていない。
論文 参考訳（メタデータ） (2026-05-25T18:57:22Z) - HIR-ALIGN: Enhancing Hyperspectral Image Restoration via Diffusion-Based Data Generation [50.46910397782266]
ハイパスペクトル画像(HSI)の復元は、ノイズ、ぼかし、分解能損失などの劣化に悩まされるため、信頼性の高い解析に不可欠である。
本稿では,HIR-ALIGNを提案する。HIR-ALIGNは,限られたトレーニング画像と,ターゲット分布と密に一致した合成データとを付加して,ハイパースペクトル画像の復元を促進するための,プラグアンドプレイのターゲット適応型拡張フレームワークである。
論文 参考訳（メタデータ） (2026-05-13T14:14:13Z) - SpectraDINO: Bridging the Spectral Gap in Vision Foundation Models via Lightweight Adapters [1.2622634782102324]
大規模RGBデータに事前訓練されたビジョンファウンデーションモデル(VFM)は、顕著な表現品質を示している。
近赤外(NIR)、短波赤外(SWIR)、長波赤外(LWIR)にまたがるマルチスペクトルイメージングへの適用性は、いまだに未調査である。
我々は、DINOv2 ViTバックボーンを超可視モードに拡張することで、このスペクトルギャップを橋渡しするマルチスペクトルVFMであるSpectraDINOを提案する。
論文 参考訳（メタデータ） (2026-05-04T06:09:13Z) - Spatial Orthogonal Refinement for Robust RGB-Event Visual Object Tracking [8.019596736149834]
空間直交微細化(SOR)に基づくロバストなRGBイベント追跡のためのフレームワークであるSOR-Trackを提案する。
大規模なFE108ベンチマークの実験は、SOR-Trackが既存のフュージョンベースのトラッカーを一貫して上回っていることを示している。
その単純さにもかかわらず、提案手法はマルチモーダルな特徴アライメントとテクスチャの整合に対する原理的かつ物理的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-03-29T23:54:31Z) - Unified Unsupervised Anomaly Detection via Matching Cost Filtering [113.43366521994396]
教師なし異常検出(UAD)は、通常のトレーニングデータのみを用いて画像レベルの異常と画素レベルの異常を識別することを目的としている。
UADモデルの異常コスト量を補正するための汎用的なポストホック精錬フレームワークであるUnified Cost Filtering (UCF) を提案する。
論文 参考訳（メタデータ） (2025-10-03T03:28:18Z) - Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。
近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。
本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
論文 参考訳（メタデータ） (2023-06-17T14:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。