論文の概要: A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling
- arxiv url: http://arxiv.org/abs/2407.02283v1
- Date: Tue, 2 Jul 2024 14:12:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 15:15:58.760059
- Title: A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling
- Title（参考訳）: 高比機能アップサンプリングのためのリフレッシュな類似性に基づくアップサンプリング
- Authors: Minghao Zhou, Hong Wang, Yefeng Zheng, Deyu Meng,
- Abstract要約: 本稿では,セマンティック・アウェアとディテール・アウェアの両方の観点から,明示的に制御可能なクエリキー機能アライメントを提案する。
また,モーザイクアーティファクトを緩和するのには単純だが有効であるHR特徴量に対して,きめ細かな近傍選択戦略を開発した。
提案するReSFUフレームワークは,異なるセグメンテーションアプリケーション上での良好な性能を一貫して達成する。
- 参考スコア（独自算出の注目度）: 54.05517338122698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature upsampling is a fundamental and indispensable ingredient of almost all current network structures for image segmentation tasks. Recently, a popular similarity-based feature upsampling pipeline has been proposed, which utilizes a high-resolution feature as guidance to help upsample the low-resolution deep feature based on their local similarity. Albeit achieving promising performance, this pipeline has specific limitations: 1) HR query and LR key features are not well aligned; 2) the similarity between query-key features is computed based on the fixed inner product form; 3) neighbor selection is coarsely operated on LR features, resulting in mosaic artifacts. These shortcomings make the existing methods along this pipeline primarily applicable to hierarchical network architectures with iterative features as guidance and they are not readily extended to a broader range of structures, especially for a direct high-ratio upsampling. Against the issues, we meticulously optimize every methodological design. Specifically, we firstly propose an explicitly controllable query-key feature alignment from both semantic-aware and detail-aware perspectives, and then construct a parameterized paired central difference convolution block for flexibly calculating the similarity between the well-aligned query-key features. Besides, we develop a fine-grained neighbor selection strategy on HR features, which is simple yet effective for alleviating mosaic artifacts. Based on these careful designs, we systematically construct a refreshed similarity-based feature upsampling framework named ReSFU. Extensive experiments substantiate that our proposed ReSFU is finely applicable to various types of architectures in a direct high-ratio upsampling manner, and consistently achieves satisfactory performance on different segmentation applications, showing superior generality and ease of deployment.
- Abstract（参考訳）: 機能アップサンプリングは、イメージセグメンテーションタスクにおいて、ほぼ全ての現在のネットワーク構造の基本的で必須の要素である。
近年,類似度に基づく高解像度機能アップサンプリングパイプラインが提案されており,局所的類似度に基づく低解像度機能アップサンプリングを支援するためのガイダンスとして高解像度機能を利用している。
有望なパフォーマンスを達成する一方で、このパイプラインには、次のような制限があります。
1)HRクエリとLRキー機能は整合性がない。
2) クエリキーの特徴の類似性は,固定内積形式に基づいて計算される。
3) 隣接選別はLR特性で粗い操作を行い, モザイク人工物が生じる。
これらの欠点は、このパイプラインに沿った既存のメソッドを主に階層的なネットワークアーキテクチャに適用し、ガイダンスとして反復的な特徴を持ち、特に直接的な高比のアップサンプリングのために、より広範な構造に容易に拡張できない。
問題に対して、我々はすべての方法論設計を慎重に最適化する。
具体的には、まず、セマンティック・アウェアとディテール・アウェアの両方の観点から明示的に制御可能なクエリキー機能アライメントを提案し、それからパラメータ化されたペア化された中央差分畳み込みブロックを構築し、よく整合したクエリキー機能間の類似性を柔軟に計算する。
さらに,モーザイクアーティファクトを緩和する上では単純だが有効であるHR特徴に対して,きめ細かな近傍選択戦略を開発する。
これらの注意深い設計に基づいて、リフレッシュされた類似性に基づく機能アップサンプリングフレームワークであるReSFUを体系的に構築する。
大規模な実験により,提案したReSFUは直接高比のアップサンプリング方式で様々なアーキテクチャに適用可能であることが確認された。
関連論文リスト
- Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence [51.54175067684008]
本稿では,高密度マッチングタスク用に設計されたTransformerベースの積分機能とコスト集約ネットワークを提案する。
まず, 特徴集約とコスト集約が異なる特徴を示し, 双方の集約プロセスの司法的利用から生じる実質的な利益の可能性を明らかにした。
本フレームワークは意味マッチングのための標準ベンチマークで評価され,また幾何マッチングにも適用された。
論文 参考訳（メタデータ） (2024-03-17T07:02:55Z) - Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。
特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。
早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文 参考訳（メタデータ） (2023-06-20T03:00:22Z) - BIMS-PU: Bi-Directional and Multi-Scale Point Cloud Upsampling [60.257912103351394]
我々はBIMS-PUと呼ばれる新しいポイント・クラウド・アップサンプリング・パイプラインを開発した。
対象のサンプリング因子を小さな因子に分解することにより,アップ/ダウンサンプリング手順をいくつかのアップ/ダウンサンプリングサブステップに分解する。
提案手法は最先端手法よりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-25T13:13:37Z) - Reuse your features: unifying retrieval and feature-metric alignment [3.845387441054033]
DRANは視覚的ローカライゼーションの3段階の機能を生成できる最初のネットワークである。
公開ベンチマークの挑戦的な条件下では、堅牢性と正確性の観点から競争性能を達成する。
論文 参考訳（メタデータ） (2022-04-13T10:42:00Z) - CFNet: Learning Correlation Functions for One-Stage Panoptic
Segmentation [46.252118473248316]
バックボーンの特徴を高めるために,まず,異なる場所のセマンティックレベルとインスタンスレベルの相関関係を推定することを提案する。
次に,改良された識別特徴をそれぞれ対応するセグメンテーションヘッドに供給する。
PQは45.1ドル%、ADE20kは32.6ドル%である。
論文 参考訳（メタデータ） (2022-01-13T05:31:14Z) - Local Similarity Pattern and Cost Self-Reassembling for Deep Stereo
Matching Networks [3.7384509727711923]
LSP(Local similarity Pattern)という,深層ステレオマッチングネットワークのためのペア機能を導入する。
隣接する関係を明確に明らかにすることで、LSPはより識別的な特徴記述を支援するために活用できる豊富な構造情報を含んでいる。
第2に,動的自己組み換え改良戦略を設計し,コスト分布と分散マップにそれぞれ適用する。
論文 参考訳（メタデータ） (2021-12-02T06:52:54Z) - Learning to Aggregate Multi-Scale Context for Instance Segmentation in
Remote Sensing Images [28.560068780733342]
特徴抽出のプロセスを改善するために,新しいコンテキスト集約ネットワーク(CATNet)を提案する。
提案モデルは,高密度特徴ピラミッドネットワーク(DenseFPN),空間コンテキストピラミッド(SCP),階層的関心抽出器(HRoIE)の3つの軽量プラグアンドプレイモジュールを利用する。
論文 参考訳（メタデータ） (2021-11-22T08:55:25Z) - M2IOSR: Maximal Mutual Information Open Set Recognition [47.1393314282815]
オープンセット認識のための合理化アーキテクチャを用いた相互情報に基づく手法を提案する。
提案手法は, ベースラインの性能を著しく向上させ, 連続したベンチマークによる新しい最先端結果を実現する。
論文 参考訳（メタデータ） (2021-08-05T05:08:12Z) - Fine-Grained Dynamic Head for Object Detection [68.70628757217939]
本稿では,各インスタンスの異なるスケールからfpn特徴の画素レベルの組み合わせを条件付きで選択する,きめ細かい動的ヘッドを提案する。
実験は,いくつかの最先端検出ベンチマークにおける提案手法の有効性と有効性を示す。
論文 参考訳（メタデータ） (2020-12-07T08:16:32Z) - Sequential Hierarchical Learning with Distribution Transformation for
Image Super-Resolution [83.70890515772456]
画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。
特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。
実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
論文 参考訳（メタデータ） (2020-07-19T01:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。