論文の概要: On Point Affiliation in Feature Upsampling

• arxiv url: http://arxiv.org/abs/2307.08198v1
• Date: Mon, 17 Jul 2023 01:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 15:02:31.740699
• Title: On Point Affiliation in Feature Upsampling
• Title（参考訳）: 特徴アップサンプリングにおけるポイントアフィリエレーションについて
• Authors: Wenze Liu, Hao Lu, Yuliang Liu, Zhiguo Cao
• Abstract要約: 特徴アップサンプリングにポイントアフィリエイトの概念を導入する。 アップサンプリングされた点は、その低解像度デコーダの隣人や高解像度エンコーダの隣人に頼って、アフィリエイトを推論できることが示される。 この定式化は、新しくて軽量で普遍的なアップサンプリングソリューションを構成する。
• 参考スコア（独自算出の注目度）: 32.28512034705838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the notion of point affiliation into feature upsampling. By abstracting a feature map into non-overlapped semantic clusters formed by points of identical semantic meaning, feature upsampling can be viewed as point affiliation -- designating a semantic cluster for each upsampled point. In the framework of kernel-based dynamic upsampling, we show that an upsampled point can resort to its low-res decoder neighbors and high-res encoder point to reason the affiliation, conditioned on the mutual similarity between them. We therefore present a generic formulation for generating similarity-aware upsampling kernels and prove that such kernels encourage not only semantic smoothness but also boundary sharpness. This formulation constitutes a novel, lightweight, and universal upsampling solution, Similarity-Aware Point Affiliation (SAPA). We show its working mechanism via our preliminary designs with window-shape kernel. After probing the limitations of the designs on object detection, we reveal additional insights for upsampling, leading to SAPA with the dynamic kernel shape. Extensive experiments demonstrate that SAPA outperforms prior upsamplers and invites consistent performance improvements on a number of dense prediction tasks, including semantic segmentation, object detection, instance segmentation, panoptic segmentation, image matting, and depth estimation. Code is made available at: https://github.com/tiny-smart/sapa
• Abstract（参考訳）: 機能アップサンプリングにおいて,ポイントアフィリエーションの概念を導入する。 特徴マップを同一の意味のポイントによって形成されたオーバーラップしないセマンティッククラスタに抽象化することにより、特徴のアップサンプリングをポイントアフィリエイト(point affiliation)とみなすことができる。 カーネルベースの動的アップサンプリングの枠組みでは、アップサンプリングされたポイントは、その低レゾルデコーダ近傍と高レゾルエンコーダのエンコーダポイントを頼りにして、それらの相互の類似性を条件としてアフィリエーションを推論できることが示されている。 したがって、類似性を考慮したアップサンプリングカーネルを生成する汎用的な定式化を行い、そのようなカーネルが意味的滑らかさだけでなく境界のシャープネスも促進することを示す。 この定式化は、新しくて軽量で普遍的なアップサンプリングソリューションであるSimisity-Aware Point Affiliation (SAPA)を構成する。 ウィンドウ形状カーネルを用いた予備設計により,その動作機構を示す。 オブジェクト検出に関する設計の限界を検証した後、アップサンプリングのさらなる洞察を明らかにし、動的なカーネル形状を持つSAPAに導いた。 大規模な実験では、SAPAは事前のアップサンプラーよりも優れており、セマンティックセグメンテーション、オブジェクト検出、インスタンスセグメンテーション、パノスコープセグメンテーション、画像マッチング、深度推定など、多くの密集した予測タスクにおいて一貫したパフォーマンス改善を招いている。 コードは、https://github.com/tiny-smart/sapaで入手できる。

関連論文リスト

• Curvature Informed Furthest Point Sampling [0.0]
  ファテスト点サンプリング(FPS)を強化する強化学習に基づくサンプリングアルゴリズムを提案する。 提案手法は,FPS由来のソフトランクと深部ニューラルネットワークによる曲率スコアを組み合わせることで,ポイントをランク付けする。 我々は,各特徴が性能に与える影響について,質的および定量的に考察した総合的アブレーション研究を提供する。
  論文  参考訳（メタデータ） (2024-11-25T23:58:38Z)
• Lidar Panoptic Segmentation and Tracking without Bells and Whistles [48.078270195629415]
  ライダーセグメンテーションと追跡のための検出中心ネットワークを提案する。 私たちのネットワークのコアコンポーネントの1つは、オブジェクトインスタンス検出ブランチです。 提案手法を複数の3D/4D LPSベンチマークで評価し,我々のモデルがオープンソースモデル間で新たな最先端性を確立することを確認した。
  論文  参考訳（メタデータ） (2023-10-19T04:44:43Z)
• Learning to Upsample by Learning to Sample [19.849631293898693]
  超軽量で効果的な動的アップサンプラーであるDySampleを提案する。 以前のカーネルベースの動的アップサンプラーと比較して、DySampleはカスタマイズされたパッケージを必要とせず、パラメータもはるかに少ない。 DySampleは5つの密集した予測タスクにおいて、他のアップサンプラーよりも優れています。
  論文  参考訳（メタデータ） (2023-08-29T07:50:11Z)
• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• PANet: LiDAR Panoptic Segmentation with Sparse Instance Proposal and Aggregation [15.664835767712775]
  この作業では、オフセットブランチへの依存性を排除するため、PANetという新しいLPSフレームワークを提案する。 PaNet はセマンティック KITII バリデーションと nuScenes バリデーションのパン光学セグメンテーションタスクに関する論文の中で,最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-06-27T10:02:28Z)
• SAPA: Similarity-Aware Point Affiliation for Feature Upsampling [27.546863377935118]
  本稿では,局所デコーダ特徴点と意味的類似性を持つセマンティッククラスタに対して,各アップサンプリングポイントのアフィリエイトを記述する概念である,機能アップサンプリングにポイントアフィリエレーションを導入する。 意味的滑らかさと境界のシャープネスを促進するアップサンプリングカーネルを生成するための汎用的な定式化を提案する。 我々の定式化の鍵となる考え方は、各エンコーダ特徴点とデコーダ特徴の空間的関連局所領域との類似性を比較することによって、類似性を考慮したカーネルを生成することである。
  論文  参考訳（メタデータ） (2022-09-26T17:32:25Z)
• BIMS-PU: Bi-Directional and Multi-Scale Point Cloud Upsampling [60.257912103351394]
  我々はBIMS-PUと呼ばれる新しいポイント・クラウド・アップサンプリング・パイプラインを開発した。 対象のサンプリング因子を小さな因子に分解することにより,アップ/ダウンサンプリング手順をいくつかのアップ/ダウンサンプリングサブステップに分解する。 提案手法は最先端手法よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-25T13:13:37Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)
• Beyond Farthest Point Sampling in Point-Wise Analysis [52.218037492342546]
  本稿では,ポイントワイズ分析タスクのための新しいデータ駆動型サンプル学習手法を提案する。 我々はサンプルと下流のアプリケーションを共同で学習する。 実験により, 従来のベースライン法に比べて, サンプルとタスクの同時学習が顕著に改善することが示された。
  論文  参考訳（メタデータ） (2021-07-09T08:08:44Z)
• SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine Reconstruction with Self-Projection Optimization [52.20602782690776]
  実際のスキャンされたスパースデータからトレーニング用の大規模なペアリングスパーススキャンポイントセットを得るのは高価で面倒です。 本研究では,SPU-Net と呼ばれる自己監視型点群アップサンプリングネットワークを提案する。 本研究では,合成データと実データの両方について様々な実験を行い,最先端の教師付き手法と同等の性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-08T14:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。