論文の概要: VTFusion: A Vision-Text Multimodal Fusion Network for Few-Shot Anomaly Detection
- arxiv url: http://arxiv.org/abs/2601.16381v1
- Date: Fri, 23 Jan 2026 00:30:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-26 14:27:27.496879
- Title: VTFusion: A Vision-Text Multimodal Fusion Network for Few-Shot Anomaly Detection
- Title（参考訳）: VTFusion:Few-Shot異常検出のためのビジョンテキスト多モード融合ネットワーク
- Authors: Yuxin Jiang, Yunkang Cao, Yuqi Cheng, Yiheng Zhang, Weiming Shen,
- Abstract要約: Few-Shot Anomaly Detection (FSAD) は、希少な正規参照を用いて不規則を識別するための重要なパラダイムとして登場した。
本研究では,FSADに適した視覚テキスト多モード融合フレームワークであるVTFusionを提案する。
- 参考スコア（独自算出の注目度）: 24.88767599022225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-Shot Anomaly Detection (FSAD) has emerged as a critical paradigm for identifying irregularities using scarce normal references. While recent methods have integrated textual semantics to complement visual data, they predominantly rely on features pre-trained on natural scenes, thereby neglecting the granular, domain-specific semantics essential for industrial inspection. Furthermore, prevalent fusion strategies often resort to superficial concatenation, failing to address the inherent semantic misalignment between visual and textual modalities, which compromises robustness against cross-modal interference. To bridge these gaps, this study proposes VTFusion, a vision-text multimodal fusion framework tailored for FSAD. The framework rests on two core designs. First, adaptive feature extractors for both image and text modalities are introduced to learn task-specific representations, bridging the domain gap between pre-trained models and industrial data; this is further augmented by generating diverse synthetic anomalies to enhance feature discriminability. Second, a dedicated multimodal prediction fusion module is developed, comprising a fusion block that facilitates rich cross-modal information exchange and a segmentation network that generates refined pixel-level anomaly maps under multimodal guidance. VTFusion significantly advances FSAD performance, achieving image-level AUROCs of 96.8% and 86.2% in the 2-shot scenario on the MVTec AD and VisA datasets, respectively. Furthermore, VTFusion achieves an AUPRO of 93.5% on a real-world dataset of industrial automotive plastic parts introduced in this paper, further demonstrating its practical applicability in demanding industrial scenarios.
- Abstract（参考訳）: Few-Shot Anomaly Detection (FSAD) は、希少な正規参照を用いて不規則を識別するための重要なパラダイムとして登場した。
近年の手法では、視覚データを補完するためにテキストセマンティクスを統合しているが、それらは主に自然の場面で事前訓練された特徴に依存しており、工業検査に不可欠な粒度のドメイン固有のセマンティクスを無視している。
さらに、一般的な融合戦略は、しばしば表面的な結合に頼り、視覚的およびテキスト的モダリティ間の固有の意味的ミスアライメントに対処することができず、モーダル間の干渉に対して頑健さを損なう。
これらのギャップを埋めるために,FSADに適した視覚テキスト多モード融合フレームワークであるVTFusionを提案する。
フレームワークは2つのコア設計に依存している。
まず、画像とテキストの両方に適応的な特徴抽出器を導入し、タスク固有の表現を学習し、事前訓練されたモデルと産業データのドメインギャップを埋める。
第2に、リッチなクロスモーダル情報交換を容易にする融合ブロックと、マルチモーダルガイダンスの下で改良された画素レベルの異常マップを生成するセグメンテーションネットワークとからなる、専用のマルチモーダル予測融合モジュールを開発する。
VTFusionは、それぞれMVTec ADとVisAデータセットの2ショットシナリオにおいて、イメージレベルのAUROCの96.8%と86.2%を達成し、FSADのパフォーマンスを大幅に向上させた。
さらに,本論文で紹介した産業用自動車用プラスチック部品の実世界のデータセットにおいて,VTFusionは93.5%のAUPROを達成した。
関連論文リスト
- Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。
パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
論文 参考訳（メタデータ） (2025-12-08T05:04:54Z) - Filling the Gaps: A Multitask Hybrid Multiscale Generative Framework for Missing Modality in Remote Sensing Semantic Segmentation [28.992992584085787]
マルチモーダル学習は、通常の単調モデルと比較して大きな性能向上を示した。
現実のシナリオでは、センサーの故障と悪天候のためにマルチモーダル信号が欠落する可能性がある。
本稿では,これらの制約に対処するために,GEMMNet(Generative-Enhanced MultiModal Learning Network)を提案する。
論文 参考訳（メタデータ） (2025-09-14T05:40:35Z) - MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。
MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-06-29T06:41:00Z) - Co-AttenDWG: Co-Attentive Dimension-Wise Gating and Expert Fusion for Multi-Modal Offensive Content Detection [0.0]
マルチモーダル学習は重要な研究の方向性として浮上している。
既存のアプローチは、しばしばクロスモーダル相互作用の不足と固い融合戦略に悩まされる。
本稿では,Co-AttenDWGを提案する。
我々は,Co-AttenDWGが最先端性能と優れたクロスモーダルアライメントを実現することを示す。
論文 参考訳（メタデータ） (2025-05-25T07:26:00Z) - Multi-task Visual Grounding with Coarse-to-Fine Consistency Constraints [15.541287957548771]
本稿では,粗大な一貫性制約を持つビジュアルグラウンドアーキテクチャを提案する。
暗黙的かつ明示的なモデリングアプローチを2段階のフレームワークに統合する。
最先端のREC法とRIS法を実質的なマージンで大幅に上回っている。
論文 参考訳（メタデータ） (2025-01-12T04:30:13Z) - Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。
MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。
我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
論文 参考訳（メタデータ） (2024-10-29T03:49:40Z) - Dual-modal Prior Semantic Guided Infrared and Visible Image Fusion for Intelligent Transportation System [22.331591533400402]
インテリジェントトランスポートシステム(ITS)における赤外線および可視画像融合(IVF)の役割
本稿では,2つのモーダリティ戦略に基づく先行的意味誘導画像融合法を提案する。
論文 参考訳（メタデータ） (2024-03-24T16:41:50Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - Fusion with Hierarchical Graphs for Mulitmodal Emotion Recognition [7.147235324895931]
本稿では,より情報に富んだマルチモーダル表現を学習する階層型グラフネットワーク(HFGCN)モデルを提案する。
具体的には,2段階グラフ構築手法を用いてマルチモーダル入力を融合し,モダリティ依存性を会話表現にエンコードする。
実験により,より正確なAERモデルの有効性が示された。
論文 参考訳（メタデータ） (2021-09-15T08:21:01Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳（メタデータ） (2021-07-28T23:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。