論文の概要: Paying Attention to Multiscale Feature Maps in Multimodal Image Matching

• arxiv url: http://arxiv.org/abs/2103.11247v1
• Date: Sat, 20 Mar 2021 21:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:51:37.929927
• Title: Paying Attention to Multiscale Feature Maps in Multimodal Image Matching
• Title（参考訳）: マルチモーダル画像マッチングにおけるマルチスケール特徴マップへの注意
• Authors: Aviad Moreshet, Yosi Keller
• Abstract要約: 本稿では,Transformerエンコーダを用いたマルチモーダル画像マッチング手法を提案する。 このエンコーダは,タスク固有の外見不変のイメージキューを強調しつつ,マルチスケールな画像埋め込みを効率的に集約する。 これはTransformerエンコーダアーキテクチャをマルチモーダル画像パッチマッチングタスクに実装した最初の成功例である。
• 参考スコア（独自算出の注目度）: 5.000272778136268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an attention-based approach for multimodal image patch matching using a Transformer encoder attending to the feature maps of a multiscale Siamese CNN. Our encoder is shown to efficiently aggregate multiscale image embeddings while emphasizing task-specific appearance-invariant image cues. We also introduce an attention-residual architecture, using a residual connection bypassing the encoder. This additional learning signal facilitates end-to-end training from scratch. Our approach is experimentally shown to achieve new state-of-the-art accuracy on both multimodal and single modality benchmarks, illustrating its general applicability. To the best of our knowledge, this is the first successful implementation of the Transformer encoder architecture to the multimodal image patch matching task.
• Abstract（参考訳）: マルチスケールのシームズCNNの特徴マップに付随するTransformerエンコーダを用いたマルチモーダル画像パッチマッチングのためのアテンションベースアプローチを提案する。 マルチスケール画像埋め込みを効率よく集約し,タスク固有の外観不変画像キューを強調する。 また,エンコーダをバイパスする残差接続を用いたアテンション残差アーキテクチャも導入する。 この追加の学習信号は、エンドツーエンドのトレーニングをスクラッチから促進する。 提案手法は,マルチモーダルベンチマークと単一モーダリティベンチマークの両方において,その汎用性を示す新しい精度を実現するために実験的に示された。 我々の知る限り、これはTransformerエンコーダアーキテクチャをマルチモーダル画像パッチマッチングタスクに実装した最初の成功例である。

関連論文リスト

• Multimodal Autoregressive Pre-training of Large Vision Encoders [85.39154488397931]
  本稿では,汎用視覚エンコーダのファミリーであるAIMV2について述べる。 エンコーダはマルチモーダル評価だけでなく,ローカライゼーションやグラウンド,分類といったビジョンベンチマークでも優れている。
  論文  参考訳（メタデータ） (2024-11-21T18:31:25Z)
• Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation [54.23510028456082]
  半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。 このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
  論文  参考訳（メタデータ） (2023-09-22T01:02:21Z)
• Unbiased Multi-Modality Guidance for Image Inpainting [27.286351511243502]
  画像インペイントのためのエンド・ツー・エンドマルチモダリティ誘導型トランスフォーマネットワークを開発した。 各トランスブロック内において,提案した空間認識型アテンションモジュールは,マルチモーダルな構造特徴を効率的に学習することができる。 本手法は,複数のモーダルからの識別情報に基づいて,画像中の意味的一貫した文脈を豊かにする。
  論文  参考訳（メタデータ） (2022-08-25T03:13:43Z)
• Contrastive Attention Network with Dense Field Estimation for Face Completion [11.631559190975034]
  本稿では,エンコーダの一般化とロバスト性を改善するために,自己教師付きシームズ推論ネットワークを提案する。 顔画像の幾何学的変動に対処するため,ネットワークに高密度対応フィールドを組み込む。 このマルチスケールアーキテクチャは、デコーダがエンコーダから画像に学習した識別表現を利用するのに有用である。
  論文  参考訳（メタデータ） (2021-12-20T02:54:38Z)
• LAVT: Language-Aware Vision Transformer for Referring Image Segmentation [80.54244087314025]
  視覚トランスフォーマーエンコーダネットワークにおいて,言語的特徴と視覚的特徴を早期に融合することにより,より優れたモーダルアライメントを実現することができることを示す。 提案手法は,RefCOCO,RefCO+,G-Refの従来の最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-12-04T04:53:35Z)
• TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task Learning [5.926203312586108]
  変換器を用いたマルチ露光画像融合フレームワークであるTransMEFを提案する。 このフレームワークはエンコーダ-デコーダネットワークに基づいており、大きな自然言語データセットでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-02T07:43:42Z)
• Rethinking Coarse-to-Fine Approach in Single Image Deblurring [19.195704769925925]
  マルチインプットマルチアウトプットU-netを用いた高速かつ高精度なデブロアリングネットワーク設計を提案する。 提案したネットワークは、精度と計算複雑性の両方の観点から最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-11T06:37:01Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)
• Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers [115.90778814368703]
  目的は,大規模画像とビデオデータセットの言語検索である。 このタスクでは、独立してテキストとビジョンを共同埋め込み空間 a.k.a にマッピングする。 デュアルエンコーダは 検索スケールとして魅力的です 視覚テキスト変換器をクロスアテンションで使用する別のアプローチは、関節埋め込みよりも精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-03-30T17:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。