論文の概要: Mixture of Scale Experts for Alignment-free RGBT Video Object Detection and A Unified Benchmark

• arxiv url: http://arxiv.org/abs/2410.12143v2
• Date: Fri, 18 Apr 2025 07:11:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-21 15:46:21.235439
• Title: Mixture of Scale Experts for Alignment-free RGBT Video Object Detection and A Unified Benchmark
• Title（参考訳）: 調整不要なRGBTビデオオブジェクト検出のための尺度エキスパートの混合と統一ベンチマーク
• Authors: Qishun Wang, Zhengzheng Tu, Kunpeng Wang, Le Gu, Chuanwang Guo,
• Abstract要約: 既存のRGB-Thermal Video Object Detection (RGBT VOD) 法は、画像ペアの手動アライメントに依存している。 我々はMixture of Scale Experts Network(MSENet)と呼ばれる新しいフレームワークを提案する。 MSENetは、異なる知覚スケールで訓練された複数の専門家を統合し、RGBと熱画像のペア間のスケールの差異をキャプチャすることを可能にする。
• 参考スコア（独自算出の注目度）: 5.068440399797739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing RGB-Thermal Video Object Detection (RGBT VOD) methods predominantly rely on the manual alignment of image pairs, that is both labor-intensive and time-consuming. This dependency significantly restricts the scalability and practical applicability of these methods in real-world scenarios. To address this critical limitation, we propose a novel framework termed the Mixture of Scale Experts Network (MSENet). MSENet integrates multiple experts trained at different perceptual scales, enabling the capture of scale discrepancies between RGB and thermal image pairs without the need for explicit alignment. Specifically, to address the issue of unaligned scales, MSENet introduces a set of experts designed to perceive the correlation between RGBT image pairs across various scales. These experts are capable of identifying and quantifying the scale differences inherent in the image pairs. Subsequently, a dynamic routing mechanism is incorporated to assign adaptive weights to each expert, allowing the network to dynamically select the most appropriate experts based on the specific characteristics of the input data. Furthermore, to address the issue of weakly unaligned positions, we integrate deformable convolution into the network. Deformable convolution is employed to learn position displacements between the RGB and thermal modalities, thereby mitigating the impact of spatial misalignment. To provide a comprehensive evaluation platform for alignment-free RGBT VOD, we introduce a new benchmark dataset. This dataset includes eleven common object categories, with a total of 60,988 images and 271,835 object instances. The dataset encompasses a wide range of scenes from both daily life and natural environments, ensuring high content diversity and complexity.
• Abstract（参考訳）: 既存のRGB-Thermal Video Object Detection (RGBT VOD) 法は、主に労働集約的かつ時間を要するイメージペアの手動アライメントに依存している。 この依存関係は、現実世界のシナリオにおけるこれらのメソッドのスケーラビリティと実用性を大幅に制限します。 この限界に対処するため、我々はMixture of Scale Experts Network (MSENet)と呼ばれる新しいフレームワークを提案する。 MSENetは、異なる知覚スケールで訓練された複数の専門家を統合することで、明示的なアライメントを必要とせずに、RGBと熱画像のペア間のスケールの相違を捉えることができる。 具体的には、不整合スケールの問題に対処するため、MSENetは様々なスケールでRGBT画像ペア間の相関を知覚する専門家のセットを導入した。 これらの専門家は、画像ペアに固有のスケールの違いを特定し、定量化することができる。 その後、動的ルーティング機構を導入し、各専門家に適応重みを割り当て、入力データの特定の特性に基づいて、ネットワークが最も適切な専門家を動的に選択できるようにする。 さらに、弱い不整合位置の問題に対処するために、変形可能な畳み込みをネットワークに統合する。 変形可能な畳み込み(deformable convolution)は、RGBと熱モダリティの間の位置ずれを学習するために用いられる。 RGBT VOD をアライメントのない総合評価プラットフォームとして,新しいベンチマークデータセットを導入する。 このデータセットには11の共通オブジェクトカテゴリが含まれており、合計60,988の画像と271,835のオブジェクトインスタンスがある。 データセットは、日常生活と自然環境の両方から幅広いシーンを包含し、高い内容の多様性と複雑さを保証する。

関連論文リスト

• A Global Depth-Range-Free Multi-View Stereo Transformer Network with Pose Embedding [76.44979557843367]
  本稿では,事前の深度範囲を排除した新しい多視点ステレオ(MVS)フレームワークを提案する。 長距離コンテキスト情報を集約するMDA(Multi-view Disparity Attention)モジュールを導入する。 ソース画像のエピポーラ線上のサンプリング点に対応する電流画素の品質を明示的に推定する。
  論文  参考訳（メタデータ） (2024-11-04T08:50:16Z)
• Monocular Visual Place Recognition in LiDAR Maps via Cross-Modal State Space Model and Multi-View Matching [2.400446821380503]
  我々はRGB画像とポイントクラウドの両方のディスクリプタを学習するための効率的なフレームワークを導入する。 視覚状態空間モデル(VMamba)をバックボーンとして、ピクセルビューとシーンの共同トレーニング戦略を採用している。 視覚的な3Dポイントオーバーラップ戦略は、マルチビューの監視のために、ポイントクラウドビューとRGBイメージの類似性を定量化するように設計されている。
  論文  参考訳（メタデータ） (2024-10-08T18:31:41Z)
• Diffusion-based RGB-D Semantic Segmentation with Deformable Attention Transformer [10.982521876026281]
  本稿では,RGB-Dセマンティックセグメンテーション問題に対処する拡散型フレームワークを提案する。 本研究では,デフォルマブルアテンション変換器をエンコーダとして利用し,奥行き画像から特徴を抽出することにより,デフォルマブルアテンション変換器の特性を効果的に把握できることを実証する。
  論文  参考訳（メタデータ） (2024-09-23T15:23:01Z)
• Depth-Guided Semi-Supervised Instance Segmentation [62.80063539262021]
  Semi-Supervised Instance (SSIS)は、トレーニング中にラベルなしデータの量を活用することを目的としている。 従来のフレームワークは主に、ラベルなし画像のRGB情報を利用して擬似ラベルを生成する。 この制限を克服するために、Depth-Guided (DG)フレームワークを導入します。
  論文  参考訳（メタデータ） (2024-06-25T09:36:50Z)
• ViDSOD-100: A New Dataset and a Baseline Model for RGB-D Video Salient Object Detection [51.16181295385818]
  まず、注釈付きRGB-D video SODOD(DSOD-100)データセットを収集し、合計9,362フレーム内に100の動画を含む。 各ビデオのフレームはすべて、高品質なサリエンシアノテーションに手動で注釈付けされる。 本稿では,RGB-Dサリアンオブジェクト検出のための新しいベースラインモデル,attentive triple-fusion network (ATF-Net)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T12:09:43Z)
• Segment Any Events via Weighted Adaptation of Pivotal Tokens [85.39087004253163]
  本稿では,Segment Anything Models (SAM) をイベントデータと統合する上で,難易度の高い課題に焦点を当てる。 本稿では,RGB画像とイベントデータからのトークン埋め込みのアライメントを最適化するマルチスケールな特徴蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-12-24T12:47:08Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Unsupervised HDR Image and Video Tone Mapping via Contrastive Learning [19.346284003982035]
  教師なし画像とビデオトーンマッピングのための統合フレームワーク(IVTMNet)を提案する。 ビデオトーンマッピングでは,時間的相関を効率的に活用するための時間的特徴置換(TFR)モジュールを提案する。 実験結果から,本手法は最先端画像やビデオトーンマッピング法よりも優れていた。
  論文  参考訳（メタデータ） (2023-03-13T17:45:39Z)
• Group Contextualization for Video Recognition [80.3842253625557]
  グループ文脈化(GC)は、2D-CNN(TSN)とTSMの性能を高める。 GCは4つの異なるコンテキストを並列に埋め込む。 グループコンテキスト化は、2D-CNN(例えばTSN)のパフォーマンスを最先端のビデオネットワークに匹敵するレベルまで向上させる。
  論文  参考訳（メタデータ） (2022-03-18T01:49:40Z)
• TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation Localization [49.521622399483846]
  汎用画像操作のローカライゼーションのための新しいエンド・ツー・エンド2ストリーム境界対応ネットワーク(TBNet)を提案する。 提案したTBNetは、MCCとF1の両方の観点から、最先端の汎用画像操作のローカライズ手法を大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-08-10T08:22:05Z)
• End-to-end Multi-modal Video Temporal Grounding [105.36814858748285]
  ビデオから補完情報を抽出するマルチモーダルフレームワークを提案する。 我々は、外見にRGB画像、運動に光学フロー、画像構造に深度マップを採用する。 本稿では、Charades-STAおよびActivityNet Captionsデータセットの実験を行い、提案手法が最先端のアプローチに対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:10Z)
• RGBT Tracking via Multi-Adapter Network with Hierarchical Divergence Loss [37.99375824040946]
  本稿では,モダリティ共有型,モダリティ特化型,インスタンス認識型ターゲット表現学習を共同で行うための,新しいマルチアダプタネットワークを提案する。 2つのRGBT追跡ベンチマークデータセットの実験は、提案したトラッカーの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-11-14T01:50:46Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Multi-Granularity Canonical Appearance Pooling for Remote Sensing Scene Classification [0.34376560669160383]
  リモートセンシングデータセットの潜在存在論的構造を自動的に捉えるために,新しいMG-CAP(Multi-Granularity Canonical Appearance Pooling)を提案する。 それぞれの特定の粒度に対して,事前定義された変換の集合から標準的外観を発見し,最大化に基づくシームズスタイルアーキテクチャを用いて対応するCNN特徴を学習する。 本稿では,GPUの固有値分解関数(EIG)を学習し,行列計算によるバックプロパゲーションを実証する安定解を提案する。
  論文  参考訳（メタデータ） (2020-04-09T11:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。