論文の概要: Pair then Relation: Pair-Net for Panoptic Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2307.08699v1
• Date: Mon, 17 Jul 2023 17:58:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 11:48:05.349167
• Title: Pair then Relation: Pair-Net for Panoptic Scene Graph Generation
• Title（参考訳）: pair then relation: pair-net for panoptic scene graph generation
• Authors: Jinghao Wang, Zhengyu Wen, Xiangtai Li, Zujin Guo, Jingkang Yang, Ziwei Liu
• Abstract要約: Panoptic Scene Graph (PSG) は、ボックスの代わりにパン光学セグメンテーションを使用して、より包括的なシーングラフ表現を作成することを目的としている。 Pair then Relation (Pair-Net) - Pair Proposal Network (PPN) を用いて、対象と対象間の疎対関係を学習・フィルタリングする。 提案手法はPSGFormerと比較して10%以上の絶対ゲインを達成できる。
• 参考スコア（独自算出の注目度）: 28.445190357176312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoptic Scene Graph (PSG) is a challenging task in Scene Graph Generation (SGG) that aims to create a more comprehensive scene graph representation using panoptic segmentation instead of boxes. However, current PSG methods have limited performance, which can hinder downstream task development. To improve PSG methods, we conducted an in-depth analysis to identify the bottleneck of the current PSG models, finding that inter-object pair-wise recall is a crucial factor which was ignored by previous PSG methods. Based on this, we present a novel framework: Pair then Relation (Pair-Net), which uses a Pair Proposal Network (PPN) to learn and filter sparse pair-wise relationships between subjects and objects. We also observed the sparse nature of object pairs and used this insight to design a lightweight Matrix Learner within the PPN. Through extensive ablation and analysis, our approach significantly improves upon leveraging the strong segmenter baseline. Notably, our approach achieves new state-of-the-art results on the PSG benchmark, with over 10% absolute gains compared to PSGFormer. The code of this paper is publicly available at https://github.com/king159/Pair-Net.
• Abstract（参考訳）: Panoptic Scene Graph(PSG)は、SGG(Scene Graph Generation)において、ボックスの代わりにパノスコープセグメンテーションを使用してより包括的なシーングラフ表現を作成することを目的とした課題である。 しかし、現在のPSG手法は性能が限られており、下流でのタスク開発を妨げかねない。 psg法を改善するために,現在のpsgモデルのボトルネックを深く分析し,従来のpsg法では無視されていたオブジェクト間リコールが重要な要因であることを確認した。 Pair then Relation (Pair-Net) - Pair Proposal Network (PPN) を用いて、対象と対象間の疎対関係を学習・フィルタリングする。 また、オブジェクトペアのスパース性も観察し、この知見を用いてPPN内の軽量マトリックスラーナを設計した。 広範なアブレーションと分析を通じて,本手法は強力なセグメンタベースラインを活用することで大幅に改善する。 特に,PSGのベンチマークでは,PSGFormerと比較して10%以上の絶対ゲインが得られた。 この記事のコードはhttps://github.com/king159/Pair-Net.comで公開されている。

関連論文リスト

• OpenPSG: Open-set Panoptic Scene Graph Generation via Large Multimodal Models [28.742671870397757]
  Panoptic Scene Graph Generation (PSG) は、オブジェクトを分割し、それらの関係を認識し、画像の構造的理解を可能にすることを目的としている。 従来の手法では、事前定義されたオブジェクトと関係カテゴリの予測に重点を置いており、そのため、オープンワールドシナリオでのアプリケーションを制限する。 本稿では,事前訓練された開集合パノプティックセグメンテーションモデルと統合された開集合関係予測の課題に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-15T19:56:42Z)
• HiLo: Exploiting High Low Frequency Relations for Unbiased Panoptic Scene Graph Generation [13.221163846643607]
  Panoptic Scene Graph Generation (PSG) は、画像のセグメント化と、被写体、オブジェクト、およびそれらの関係を抽出してシーングラフを構築することを目的としている。 この課題は関係カテゴリーの長い問題に悩まされ、偏りのある手法は高周波関係に傾倒する。 既存のバイアスのない手法は、低周波関係を支持するためにデータ/ロスリバランシングによって、長い尾の問題に対処する。 既存の手法は互いに有利だが,提案するHiLoフレームワークでは,低周波・高周波関係に特化している。
  論文  参考訳（メタデータ） (2023-03-28T14:08:09Z)
• 1st Place Solution for PSG competition with ECCV'22 SenseHuman Workshop [1.5362025549031049]
  Panoptic Scene Graph (PSG) の生成は、厳密なバウンディングボックスの代わりに、パノプティックセグメンテーションに基づいてシーングラフ表現を生成することを目的としている。 本稿では,Global Relation Networkの2段階パラダイムであるGRNetを提案する。 我々はOpenPSGデータセットの総合的な実験を行い、リードボード上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-06T09:47:46Z)
• Panoptic Scene Graph Generation [41.534209967051645]
  パン光学シーングラフ生成(PSG)は、より包括的なシーングラフ表現を生成するためにモデルを必要とする新しい問題タスクである。 高品質のPSGデータセットには、COCOとVisual Genomeの49kのよく注釈付けされた重複画像が含まれている。
  論文  参考訳（メタデータ） (2022-07-22T17:59:53Z)
• RU-Net: Regularized Unrolling Network for Scene Graph Generation [92.95032610978511]
  シーングラフ生成(SGG)は、オブジェクトを検出し、各オブジェクト間の関係を予測することを目的としている。 既存のSGG法は,(1)あいまいな対象表現,2)関係予測の多様性の低下など,いくつかの問題に悩まされることが多い。 両問題に対処する正規化アンローリングネットワーク(RU-Net)を提案する。
  論文  参考訳（メタデータ） (2022-05-03T04:21:15Z)
• Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased Scene Graph Generation [62.96628432641806]
  Scene Graph Generationは、まず与えられた画像内の視覚的コンテンツをエンコードし、次にそれらをコンパクトな要約グラフに解析することを目的としている。 まず,モーダル内改良とモーダル間相互作用を容易にする新しいスタック型ハイブリッド・アテンションネットワークを提案する。 次に、デコーダを最適化するための革新的なグループ協調学習戦略を考案する。
  論文  参考訳（メタデータ） (2022-03-18T09:14:13Z)
• Relation Regularized Scene Graph Generation [206.76762860019065]
  SGG(Scene Graph Generation)は、検出されたオブジェクトの上に構築され、オブジェクトのペアの視覚的関係を予測する。 本稿では,2つのオブジェクト間の関係を予測できる関係正規化ネットワーク(R2-Net)を提案する。 我々のR2-Netはオブジェクトラベルを効果的に洗練し、シーングラフを生成する。
  論文  参考訳（メタデータ） (2022-02-22T11:36:49Z)
• Learning Spatial Context with Graph Neural Network for Multi-Person Pose Grouping [71.59494156155309]
  イメージベース多人数ポーズ推定のためのボトムアップ手法は,キーポイント検出とグループ化の2段階からなる。 本研究では,グラフ分割問題としてグループ化タスクを定式化し,グラフニューラルネットワーク(gnn)を用いて親和性行列を学習する。 学習された幾何学に基づく親和性は、強固なキーポイント結合を達成するために外観に基づく親和性とさらに融合する。
  論文  参考訳（メタデータ） (2021-04-06T09:21:14Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。