論文の概要: SAPA: Similarity-Aware Point Affiliation for Feature Upsampling

• arxiv url: http://arxiv.org/abs/2209.12866v1
• Date: Mon, 26 Sep 2022 17:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 16:42:23.559642
• Title: SAPA: Similarity-Aware Point Affiliation for Feature Upsampling
• Title（参考訳）: sapa: 機能アップサンプリングのための類似点対応
• Authors: Hao Lu, Wenze Liu, Zixuan Ye, Hongtao Fu, Yuliang Liu, Zhiguo Cao
• Abstract要約: 本稿では,局所デコーダ特徴点と意味的類似性を持つセマンティッククラスタに対して,各アップサンプリングポイントのアフィリエイトを記述する概念である,機能アップサンプリングにポイントアフィリエレーションを導入する。 意味的滑らかさと境界のシャープネスを促進するアップサンプリングカーネルを生成するための汎用的な定式化を提案する。 我々の定式化の鍵となる考え方は、各エンコーダ特徴点とデコーダ特徴の空間的関連局所領域との類似性を比較することによって、類似性を考慮したカーネルを生成することである。
• 参考スコア（独自算出の注目度）: 27.546863377935118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce point affiliation into feature upsampling, a notion that describes the affiliation of each upsampled point to a semantic cluster formed by local decoder feature points with semantic similarity. By rethinking point affiliation, we present a generic formulation for generating upsampling kernels. The kernels encourage not only semantic smoothness but also boundary sharpness in the upsampled feature maps. Such properties are particularly useful for some dense prediction tasks such as semantic segmentation. The key idea of our formulation is to generate similarity-aware kernels by comparing the similarity between each encoder feature point and the spatially associated local region of decoder features. In this way, the encoder feature point can function as a cue to inform the semantic cluster of upsampled feature points. To embody the formulation, we further instantiate a lightweight upsampling operator, termed Similarity-Aware Point Affiliation (SAPA), and investigate its variants. SAPA invites consistent performance improvements on a number of dense prediction tasks, including semantic segmentation, object detection, depth estimation, and image matting. Code is available at: https://github.com/poppinace/sapa
• Abstract（参考訳）: これは,局所的デコーダ特徴点によって形成される意味クラスタに対する各アップサンプリング点の親和性を記述する概念であり,意味的類似性を持つ。 ポイントアフィリエーションを再考することで,アップサンプリングカーネルを生成するための汎用的な定式化を提案する。 カーネルは意味的滑らかさだけでなく、アップサンプリングされた特徴写像における境界シャープネスも奨励する。 このような性質は、セマンティックセグメンテーションのような密集した予測タスクに特に有用である。 提案方式の重要な考え方は,各エンコーダの特徴点とデコーダ特徴の空間的関連領域の類似性を比較し,類似性対応カーネルを生成することである。 このように、エンコーダ特徴点がキューとして機能し、アップサンプリングされた特徴点のセマンティッククラスタに通知する。 定式化を具現化するために,Simisity-Aware Point Affiliation (SAPA) と呼ばれる軽量なアップサンプリング演算子をインスタンス化し,その変形について検討する。 SAPAは、セマンティックセグメンテーション、オブジェクト検出、深さ推定、画像マッチングなど、多くの密集した予測タスクにおいて、一貫したパフォーマンス改善を推奨している。 コードはhttps://github.com/poppinace/sapaで入手できる。

関連論文リスト

• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• On Point Affiliation in Feature Upsampling [32.28512034705838]
  特徴アップサンプリングにポイントアフィリエイトの概念を導入する。 アップサンプリングされた点は、その低解像度デコーダの隣人や高解像度エンコーダの隣人に頼って、アフィリエイトを推論できることが示される。 この定式化は、新しくて軽量で普遍的なアップサンプリングソリューションを構成する。
  論文  参考訳（メタデータ） (2023-07-17T01:59:14Z)
• Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
  Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。 IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。 提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:14Z)
• SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
  ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。 我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-26T17:00:23Z)
• LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of Feature Similarity [49.84167231111667]
  自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。 自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。 機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
  論文  参考訳（メタデータ） (2022-04-06T17:48:18Z)
• CFNet: Learning Correlation Functions for One-Stage Panoptic Segmentation [46.252118473248316]
  バックボーンの特徴を高めるために,まず,異なる場所のセマンティックレベルとインスタンスレベルの相関関係を推定することを提案する。 次に,改良された識別特徴をそれぞれ対応するセグメンテーションヘッドに供給する。 PQは45.1ドル%、ADE20kは32.6ドル%である。
  論文  参考訳（メタデータ） (2022-01-13T05:31:14Z)
• CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds [2.891413712995641]
  CPSegと呼ばれるLiDAR点雲のための新しいリアルタイム・エンド・エンド・エンド・パノプティクス・セグメンテーション・ネットワークを提案する。 CPSegは、共有エンコーダ、デュアルデコーダ、タスク認識アテンションモジュール(TAM)、クラスタフリーインスタンスセグメンテーションヘッドを備える。
  論文  参考訳（メタデータ） (2021-11-02T16:44:06Z)
• SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine Reconstruction with Self-Projection Optimization [52.20602782690776]
  実際のスキャンされたスパースデータからトレーニング用の大規模なペアリングスパーススキャンポイントセットを得るのは高価で面倒です。 本研究では,SPU-Net と呼ばれる自己監視型点群アップサンプリングネットワークを提案する。 本研究では,合成データと実データの両方について様々な実験を行い,最先端の教師付き手法と同等の性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-08T14:14:09Z)
• Few-shot 3D Point Cloud Semantic Segmentation [138.80825169240302]
  本稿では,新しい注意型マルチプロトタイプトランスダクティブ・ショットポイント・クラウドセマンティックセマンティック・セマンティクス法を提案する。 提案手法は,雲のセマンティックセマンティックセグメンテーション設定の違いによるベースラインに比べて,顕著で一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-06-22T08:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。