論文の概要: Interactive Masked Image Modeling for Multimodal Object Detection in Remote Sensing

• arxiv url: http://arxiv.org/abs/2409.08885v1
• Date: Fri, 13 Sep 2024 14:50:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 16:09:45.272501
• Title: Interactive Masked Image Modeling for Multimodal Object Detection in Remote Sensing
• Title（参考訳）: リモートセンシングにおけるマルチモーダル物体検出のための対話型マスク画像モデリング
• Authors: Minh-Duc Vu, Zuheng Ming, Fangchen Feng, Bissmella Bahaduri, Anissa Mokraoui,
• Abstract要約: マルチモーダル学習は、異なるデータモダリティの機能を統合するために使用することができ、それによって検出精度が向上する。 本稿では,事前学習手法としてMasked Image Modeling (MIM) を提案する。 そこで本稿では,リモートセンシングにおけるオブジェクト検出に特に有用である,異なるトークン間のインタラクションを確立するための対話型MIM手法を提案する。
• 参考スコア（独自算出の注目度）: 2.0528748158119434
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Object detection in remote sensing imagery plays a vital role in various Earth observation applications. However, unlike object detection in natural scene images, this task is particularly challenging due to the abundance of small, often barely visible objects across diverse terrains. To address these challenges, multimodal learning can be used to integrate features from different data modalities, thereby improving detection accuracy. Nonetheless, the performance of multimodal learning is often constrained by the limited size of labeled datasets. In this paper, we propose to use Masked Image Modeling (MIM) as a pre-training technique, leveraging self-supervised learning on unlabeled data to enhance detection performance. However, conventional MIM such as MAE which uses masked tokens without any contextual information, struggles to capture the fine-grained details due to a lack of interactions with other parts of image. To address this, we propose a new interactive MIM method that can establish interactions between different tokens, which is particularly beneficial for object detection in remote sensing. The extensive ablation studies and evluation demonstrate the effectiveness of our approach.
• Abstract（参考訳）: リモートセンシング画像における物体検出は、様々な地球観測応用において重要な役割を果たす。 しかし、自然の風景画像における物体検出とは異なり、このタスクは、様々な地形にまたがる小さな、しばしばほとんど見えない物体が多数存在するため、特に困難である。 これらの課題に対処するために、マルチモーダル学習を使用して、異なるデータモダリティの機能を統合することで、検出精度を向上させることができる。 それでも、マルチモーダル学習の性能はラベル付きデータセットの限られたサイズによって制限されることが多い。 本稿では,未ラベルデータに対する自己教師付き学習を利用して検出性能を向上させることを目的として,Masked Image Modeling (MIM) を事前学習手法として用いることを提案する。 しかし,MAEなどの従来のMIMでは,画像の他の部分とのインタラクションの欠如により細かな細部を捉えるのに苦労している。 そこで本稿では,リモートセンシングにおけるオブジェクト検出に特に有用である,異なるトークン間のインタラクションを確立するための対話型MIM手法を提案する。 広範囲にわたるアブレーション研究と溶出は,我々のアプローチの有効性を実証している。

関連論文リスト

• Unsupervised learning based object detection using Contrastive Learning [6.912349403119665]
  本研究では,教師なし・自己教師型学習を通じて,単段階物体検出装置を訓練するための画期的な手法を提案する。 我々の最先端のアプローチはラベリングプロセスに革命をもたらす可能性を秘めており、手動アノテーションに関連する時間とコストを大幅に削減する。 我々は、画像間のコントラスト学習という概念を創始し、重要な位置情報の取得を可能にした。
  論文  参考訳（メタデータ） (2024-02-21T01:44:15Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images [1.662438436885552]
  マルチモーダル融合は、複数のモーダルからのデータを融合することで精度を高めることが決定されている。 早期に異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案する。 本手法は,中期・後期の手法とは対照的に,早期の融合に対処することにより,既存の手法と比較して,競争力や性能に優れる。
  論文  参考訳（メタデータ） (2023-10-21T00:56:11Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• CtxMIM: Context-Enhanced Masked Image Modeling for Remote Sensing Image Understanding [38.53988682814626]
  リモートセンシング画像理解のためのコンテキスト強化マスク画像モデリング手法(CtxMIM)を提案する。 CtxMIMは、オリジナルのイメージパッチを再構成テンプレートとして定式化し、2セットのイメージパッチを操作するために、Siameseフレームワークを使用している。 シンプルでエレガントな設計により、CtxMIMは、大規模データセットでオブジェクトレベルまたはピクセルレベルの機能を学ぶための事前トレーニングモデルを奨励する。
  論文  参考訳（メタデータ） (2023-09-28T18:04:43Z)
• MSMG-Net: Multi-scale Multi-grained Supervised Metworks for Multi-task Image Manipulation Detection and Localization [1.14219428942199]
  マルチスケール多層深層ネットワーク(MSMG-Net)を提案する。 我々のMSMG-Netでは,並列なマルチスケール特徴抽出構造を用いてマルチスケール特徴抽出を行う。 MSMG-Netはオブジェクトレベルのセマンティクスを効果的に認識し、エッジアーティファクトをエンコードする。
  論文  参考訳（メタデータ） (2022-11-06T14:58:21Z)
• Sketched Multi-view Subspace Learning for Hyperspectral Anomalous Change Detection [12.719327447589345]
  異常変化検出のためのスケッチ付きマルチビューサブスペース学習モデルを提案する。 提案モデルでは,画像ペアからの主要な情報を保存し,計算複雑性を向上させる。 実験は、ベンチマークハイパースペクトルリモートセンシングデータセットと自然なハイパースペクトルデータセットで実施される。
  論文  参考訳（メタデータ） (2022-10-09T14:08:17Z)
• ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
  画像操作の検出とローカライズを行うObjectFormerを提案する。 画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。 各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-03-28T12:27:34Z)
• Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
  既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。 マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。 多様なアプリケーションにおけるMViT提案の重要性を示す。
  論文  参考訳（メタデータ） (2021-11-22T18:59:29Z)
• Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
  オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。 また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
  論文  参考訳（メタデータ） (2021-07-30T19:24:07Z)
• Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations [103.00383924074585]
  視覚的関係検出は、画像内の有能なオブジェクト間の関係を推論することを目的としている。 変換器からの視覚言語表現(RVL-BERT)という新しい手法を提案する。 RVL-BERTは、自己教師付き事前学習を通じて学習した視覚的・言語的常識知識を用いて空間推論を行う。
  論文  参考訳（メタデータ） (2020-09-10T16:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。