論文の概要: Cross-domain Few-shot Object Detection with Multi-modal Textual Enrichment

• arxiv url: http://arxiv.org/abs/2502.16469v1
• Date: Sun, 23 Feb 2025 06:59:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:57:42.756518
• Title: Cross-domain Few-shot Object Detection with Multi-modal Textual Enrichment
• Title（参考訳）: マルチモーダルテキストエンリッチメントを用いたクロスドメインFew-shotオブジェクト検出
• Authors: Zeyu Shangguan, Daniel Seita, Mohammad Rostami,
• Abstract要約: クロスドメイン多モードFew-Shotオブジェクト検出(CDMM-FSOD) メタラーニングベースのフレームワークを導入し、リッチテキストセマンティクスを補助モダリティとして活用し、効果的なドメイン適応を実現する。 提案手法を共通のクロスドメインオブジェクト検出ベンチマークで評価し,既存の複数ショットオブジェクト検出手法を大きく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 21.36633828492347
• License:
• Abstract: Advancements in cross-modal feature extraction and integration have significantly enhanced performance in few-shot learning tasks. However, current multi-modal object detection (MM-OD) methods often experience notable performance degradation when encountering substantial domain shifts. We propose that incorporating rich textual information can enable the model to establish a more robust knowledge relationship between visual instances and their corresponding language descriptions, thereby mitigating the challenges of domain shift. Specifically, we focus on the problem of Cross-Domain Multi-Modal Few-Shot Object Detection (CDMM-FSOD) and introduce a meta-learning-based framework designed to leverage rich textual semantics as an auxiliary modality to achieve effective domain adaptation. Our new architecture incorporates two key components: (i) A multi-modal feature aggregation module, which aligns visual and linguistic feature embeddings to ensure cohesive integration across modalities. (ii) A rich text semantic rectification module, which employs bidirectional text feature generation to refine multi-modal feature alignment, thereby enhancing understanding of language and its application in object detection. We evaluate the proposed method on common cross-domain object detection benchmarks and demonstrate that it significantly surpasses existing few-shot object detection approaches.
• Abstract（参考訳）: クロスモーダルな特徴抽出と統合の進歩は、数ショットの学習タスクのパフォーマンスを大幅に向上させた。 しかし、現在のマルチモーダルオブジェクト検出(MM-OD)手法は、大きなドメインシフトに遭遇した場合に顕著なパフォーマンス劣化を経験することが多い。 リッチテキスト情報の導入により、視覚的インスタンスとそれに対応する言語記述とのより堅牢な知識関係を確立することができ、ドメインシフトの課題を軽減することができる。 具体的には,CDMM-FSOD(Cross-Domain Multi-Modal Few-Shot Object Detection)の問題に着目し,リッチテキストセマンティクスを補助モダリティとして活用して効果的なドメイン適応を実現するメタラーニングベースのフレームワークを提案する。 私たちの新しいアーキテクチャには2つの重要なコンポーネントが組み込まれています。 一 視覚的・言語的特徴の埋め込みを整合させて、モダリティ間の密結合性を確保するマルチモーダル特徴集合モジュール。 二 双方向テキスト特徴生成を利用して多モーダルな特徴アライメントを洗練し、言語とそのオブジェクト検出への応用の理解を深めるリッチテキスト意味修正モジュール。 提案手法を共通のクロスドメインオブジェクト検出ベンチマークで評価し,既存の複数ショットオブジェクト検出手法を大きく上回っていることを示す。

関連論文リスト

• Visual-Linguistic Agent: Towards Collaborative Contextual Object Reasoning [26.35257570870916]
  Visual-Linguistic Agent (VLA)は、MLLMのリレーショナル推論強度と従来の物体検出器の正確な位置決め能力を組み合わせた協調的なフレームワークである。 VLAは空間的推論とオブジェクトローカライゼーションの両方を強化し、マルチモーダル理解における重要な課題に対処する。
  論文  参考訳（メタデータ） (2024-11-15T15:02:06Z)
• Detecting Misinformation in Multimedia Content through Cross-Modal Entity Consistency: A Dual Learning Approach [10.376378437321437]
  クロスモーダルなエンティティの整合性を利用して、ビデオコンテンツから誤情報を検出するためのマルチメディア誤情報検出フレームワークを提案する。 以上の結果から,MultiMDは最先端のベースラインモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-16T16:14:36Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object Detection [72.36017150922504]
  教師の融合変換器から学生検出器へ学習した文脈知識を伝達するためのマルチモーダルな文脈知識蒸留フレームワーク MMC-Det を提案する。 多様なマルチモーダルマスキング言語モデリングは、従来のマルチモーダルマスキング言語モデリング(MLM)に基づくオブジェクト分散制約により実現される。
  論文  参考訳（メタデータ） (2023-08-30T08:33:13Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
  既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。 マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。 多様なアプリケーションにおけるMViT提案の重要性を示す。
  論文  参考訳（メタデータ） (2021-11-22T18:59:29Z)
• Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
  画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。 従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。 本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。