論文の概要: Pair then Relation: Pair-Net for Panoptic Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2307.08699v3
• Date: Fri, 9 Aug 2024 09:08:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 21:01:50.353137
• Title: Pair then Relation: Pair-Net for Panoptic Scene Graph Generation
• Title（参考訳）: Pair-Net for Panoptic Scene Graph Generation
• Authors: Jinghao Wang, Zhengyu Wen, Xiangtai Li, Zujin Guo, Jingkang Yang, Ziwei Liu,
• Abstract要約: Panoptic Scene Graph (PSG) は、ボックスの代わりにパン光学セグメンテーションを使用して、より包括的なシーングラフ表現を作成することを目的としている。 現在のPSGメソッドは性能が限られており、下流のタスクやアプリケーションを妨げる。 Pair then Relation (Pair-Net) - Pair Proposal Network (PPN) を用いて、対象と対象間の疎対関係を学習・フィルタリングする。
• 参考スコア（独自算出の注目度）: 54.92476119356985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoptic Scene Graph (PSG) is a challenging task in Scene Graph Generation (SGG) that aims to create a more comprehensive scene graph representation using panoptic segmentation instead of boxes. Compared to SGG, PSG has several challenging problems: pixel-level segment outputs and full relationship exploration (It also considers thing and stuff relation). Thus, current PSG methods have limited performance, which hinders downstream tasks or applications. The goal of this work aims to design a novel and strong baseline for PSG. To achieve that, we first conduct an in-depth analysis to identify the bottleneck of the current PSG models, finding that inter-object pair-wise recall is a crucial factor that was ignored by previous PSG methods. Based on this and the recent query-based frameworks, we present a novel framework: Pair then Relation (Pair-Net), which uses a Pair Proposal Network (PPN) to learn and filter sparse pair-wise relationships between subjects and objects. Moreover, we also observed the sparse nature of object pairs for both Motivated by this, we design a lightweight Matrix Learner within the PPN, which directly learns pair-wised relationships for pair proposal generation. Through extensive ablation and analysis, our approach significantly improves upon leveraging the segmenter solid baseline. Notably, our method achieves over 10\% absolute gains compared to our baseline, PSGFormer. The code of this paper is publicly available at https://github.com/king159/Pair-Net.
• Abstract（参考訳）: Panoptic Scene Graph(PSG)は、SGG(Scene Graph Generation)において、ボックスの代わりにパノスコープセグメンテーションを使用してより包括的なシーングラフ表現を作成することを目的とした課題である。 SGGと比較すると、PSGはピクセルレベルのセグメント出力と完全な関係探索(物と物の関係も考慮している)という難題がいくつかある。 したがって、現在のPSGメソッドは性能が限られており、下流のタスクやアプリケーションを妨げる。 本研究の目的は、PSGの新しい強力なベースラインを設計することである。 そこで我々はまず,既存のPSGモデルのボトルネックを特定するための詳細な分析を行い,従来のPSG法では無視されていた,オブジェクト間のペアワイズリコールが重要な要因であることを確認した。 Pair then Relation (Pair-Net) - Pair Proposal Network (PPN) を用いて,対象と対象間の疎結合関係の学習とフィルタリングを行う。 さらに,2つのオブジェクトペアの疎結合性も観察し,PPN内の軽量マトリックス学習器を設計し,ペア提案生成のためのペアワイズ関係を直接学習する。 広範囲なアブレーションと解析により, セグメンタソリッドベースラインの活用により, 本手法は大幅に改善される。 特に,本手法はベースラインであるPSGFormerに比べて10倍以上の絶対ゲインを達成する。 この記事のコードはhttps://github.com/king159/Pair-Net.comで公開されている。

関連論文リスト

• OpenPSG: Open-set Panoptic Scene Graph Generation via Large Multimodal Models [28.742671870397757]
  Panoptic Scene Graph Generation (PSG) は、オブジェクトを分割し、それらの関係を認識し、画像の構造的理解を可能にすることを目的としている。 従来の手法では、事前定義されたオブジェクトと関係カテゴリの予測に重点を置いており、そのため、オープンワールドシナリオでのアプリケーションを制限する。 本稿では,事前訓練された開集合パノプティックセグメンテーションモデルと統合された開集合関係予測の課題に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-15T19:56:42Z)
• HiLo: Exploiting High Low Frequency Relations for Unbiased Panoptic Scene Graph Generation [13.221163846643607]
  Panoptic Scene Graph Generation (PSG) は、画像のセグメント化と、被写体、オブジェクト、およびそれらの関係を抽出してシーングラフを構築することを目的としている。 この課題は関係カテゴリーの長い問題に悩まされ、偏りのある手法は高周波関係に傾倒する。 既存のバイアスのない手法は、低周波関係を支持するためにデータ/ロスリバランシングによって、長い尾の問題に対処する。 既存の手法は互いに有利だが,提案するHiLoフレームワークでは,低周波・高周波関係に特化している。
  論文  参考訳（メタデータ） (2023-03-28T14:08:09Z)
• 1st Place Solution for PSG competition with ECCV'22 SenseHuman Workshop [1.5362025549031049]
  Panoptic Scene Graph (PSG) の生成は、厳密なバウンディングボックスの代わりに、パノプティックセグメンテーションに基づいてシーングラフ表現を生成することを目的としている。 本稿では,Global Relation Networkの2段階パラダイムであるGRNetを提案する。 我々はOpenPSGデータセットの総合的な実験を行い、リードボード上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-06T09:47:46Z)
• Panoptic Scene Graph Generation [41.534209967051645]
  パン光学シーングラフ生成(PSG)は、より包括的なシーングラフ表現を生成するためにモデルを必要とする新しい問題タスクである。 高品質のPSGデータセットには、COCOとVisual Genomeの49kのよく注釈付けされた重複画像が含まれている。
  論文  参考訳（メタデータ） (2022-07-22T17:59:53Z)
• RU-Net: Regularized Unrolling Network for Scene Graph Generation [92.95032610978511]
  シーングラフ生成(SGG)は、オブジェクトを検出し、各オブジェクト間の関係を予測することを目的としている。 既存のSGG法は,(1)あいまいな対象表現,2)関係予測の多様性の低下など,いくつかの問題に悩まされることが多い。 両問題に対処する正規化アンローリングネットワーク(RU-Net)を提案する。
  論文  参考訳（メタデータ） (2022-05-03T04:21:15Z)
• Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased Scene Graph Generation [62.96628432641806]
  Scene Graph Generationは、まず与えられた画像内の視覚的コンテンツをエンコードし、次にそれらをコンパクトな要約グラフに解析することを目的としている。 まず,モーダル内改良とモーダル間相互作用を容易にする新しいスタック型ハイブリッド・アテンションネットワークを提案する。 次に、デコーダを最適化するための革新的なグループ協調学習戦略を考案する。
  論文  参考訳（メタデータ） (2022-03-18T09:14:13Z)
• Relation Regularized Scene Graph Generation [206.76762860019065]
  SGG(Scene Graph Generation)は、検出されたオブジェクトの上に構築され、オブジェクトのペアの視覚的関係を予測する。 本稿では,2つのオブジェクト間の関係を予測できる関係正規化ネットワーク(R2-Net)を提案する。 我々のR2-Netはオブジェクトラベルを効果的に洗練し、シーングラフを生成する。
  論文  参考訳（メタデータ） (2022-02-22T11:36:49Z)
• Learning Spatial Context with Graph Neural Network for Multi-Person Pose Grouping [71.59494156155309]
  イメージベース多人数ポーズ推定のためのボトムアップ手法は,キーポイント検出とグループ化の2段階からなる。 本研究では,グラフ分割問題としてグループ化タスクを定式化し,グラフニューラルネットワーク(gnn)を用いて親和性行列を学習する。 学習された幾何学に基づく親和性は、強固なキーポイント結合を達成するために外観に基づく親和性とさらに融合する。
  論文  参考訳（メタデータ） (2021-04-06T09:21:14Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。