論文の概要: Semantic-aligned Fusion Transformer for One-shot Object Detection

• arxiv url: http://arxiv.org/abs/2203.09093v2
• Date: Sun, 20 Mar 2022 09:27:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 11:26:08.857775
• Title: Semantic-aligned Fusion Transformer for One-shot Object Detection
• Title（参考訳）: ワンショット物体検出用セマンティックアライメントフュージョントランスフォーマ
• Authors: Yizhou Zhao, Xun Guo, Yan Lu
• Abstract要約: ワンショットオブジェクト検出は、与えられた1つのインスタンスに従って新しいオブジェクトを検出することを目的としている。 現在のアプローチでは、直接転送可能なメタ知識を得るために様々な特徴融合を探索している。 本稿では,これらの問題を解決するために,Semantic-aligned Fusion Transformer (SaFT) というシンプルなアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 18.58772037047498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-shot object detection aims at detecting novel objects according to merely one given instance. With extreme data scarcity, current approaches explore various feature fusions to obtain directly transferable meta-knowledge. Yet, their performances are often unsatisfactory. In this paper, we attribute this to inappropriate correlation methods that misalign query-support semantics by overlooking spatial structures and scale variances. Upon analysis, we leverage the attention mechanism and propose a simple but effective architecture named Semantic-aligned Fusion Transformer (SaFT) to resolve these issues. Specifically, we equip SaFT with a vertical fusion module (VFM) for cross-scale semantic enhancement and a horizontal fusion module (HFM) for cross-sample feature fusion. Together, they broaden the vision for each feature point from the support to a whole augmented feature pyramid from the query, facilitating semantic-aligned associations. Extensive experiments on multiple benchmarks demonstrate the superiority of our framework. Without fine-tuning on novel classes, it brings significant performance gains to one-stage baselines, lifting state-of-the-art results to a higher level.
• Abstract（参考訳）: ワンショットオブジェクト検出は、与えられた1つのインスタンスに従って新しいオブジェクトを検出することを目的としている。 極端なデータ不足により、現在のアプローチでは、直接転送可能なメタ知識を得るために様々な特徴融合を探索している。 しかし、彼らのパフォーマンスはしばしば不満足です。 本稿では,空間構造やスケールのばらつきを見極めることで,クエリ支援の意味を誤る不適切な相関手法を提案する。 分析を行う際,注意機構を活用し,semantic-aligned fusion transformer (saft) という,単純かつ効果的なアーキテクチャを提案する。 具体的には,クロススケールなセマンティクスエンハンスメントのための垂直融合モジュール (vfm) と,クロスサンプル特徴融合のための水平融合モジュール (hfm) を備える。 合わせて、クエリから拡張された機能ピラミッド全体へのサポートから、各機能ポイントのビジョンを広げ、セマンティックな関連付けを促進する。 複数のベンチマークに関する広範囲な実験が、我々のフレームワークの優位性を示しています。 新しいクラスを微調整することなく、1段階のベースラインに大幅なパフォーマンス向上をもたらし、最先端の成果をより高いレベルに引き上げる。

関連論文リスト

• A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling [54.05517338122698]
  本稿では,セマンティック・アウェアとディテール・アウェアの両方の観点から,明示的に制御可能なクエリキー機能アライメントを提案する。 また,モーザイクアーティファクトを緩和するのには単純だが有効であるHR特徴量に対して,きめ細かな近傍選択戦略を開発した。 提案するReSFUフレームワークは,異なるセグメンテーションアプリケーション上での良好な性能を一貫して達成する。
  論文  参考訳（メタデータ） (2024-07-02T14:12:21Z)
• Fusion-Mamba for Cross-modality Object Detection [63.56296480951342]
  異なるモダリティから情報を融合するクロスモダリティは、オブジェクト検出性能を効果的に向上させる。 We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction。 提案手法は,m3FD$が5.9%,FLIRデータセットが4.9%,m3FD$が5.9%である。
  論文  参考訳（メタデータ） (2024-04-14T05:28:46Z)
• Dual-modal Prior Semantic Guided Infrared and Visible Image Fusion for Intelligent Transportation System [22.331591533400402]
  インテリジェントトランスポートシステム(ITS)における赤外線および可視画像融合(IVF)の役割 本稿では,2つのモーダリティ戦略に基づく先行的意味誘導画像融合法を提案する。
  論文  参考訳（メタデータ） (2024-03-24T16:41:50Z)
• Fine-Grained Prototypes Distillation for Few-Shot Object Detection [8.795211323408513]
  Few-shot Object Detection (FSOD) は、新しい物体検出のためのジェネリック検出器を、少数の訓練例で拡張することを目的としている。 一般に、メタラーニングに基づく手法は、新しいサンプルをクラスプロトタイプにエンコードするために追加のサポートブランチを使用する。 より堅牢な新しいオブジェクト検出のために、特徴ある局所的コンテキストをキャプチャするためには、新しい方法が必要である。
  論文  参考訳（メタデータ） (2024-01-15T12:12:48Z)
• ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection [25.66305300362193]
  大域的特徴相互作用をモデル化するために、二重対向変換器の新たな特徴融合フレームワークを提案する。 このフレームワークは、クエリ誘導のクロスアテンション機構を通じて、オブジェクトの特徴の識別性を高める。 提案手法は,様々なシナリオに適した性能と高速な推論を実現する。
  論文  参考訳（メタデータ） (2023-08-15T00:02:10Z)
• Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation [66.15246197473897]
  多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。 画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-04T01:03:58Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• ScaleVLAD: Improving Multimodal Sentiment Analysis via Multi-Scale Fusion of Locally Descriptors [15.042741192427334]
  本稿では,テキスト,ビデオ,オーディオからマルチスケール表現を収集する「スケールVLAD」という融合モデルを提案する。 IEMOCAP、MOSI、MOSEIの3つの一般的な感情分析ベンチマークの実験は、ベースラインよりも大幅に向上した。
  論文  参考訳（メタデータ） (2021-12-02T16:09:33Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。