論文の概要: Self-Supervised Relation Alignment for Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2302.01403v2
• Date: Tue, 12 Dec 2023 10:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 21:15:54.552102
• Title: Self-Supervised Relation Alignment for Scene Graph Generation
• Title（参考訳）: シーングラフ生成のための自己教師付き関係アライメント
• Authors: Bicheng Xu, Renjie Liao, Leonid Sigal
• Abstract要約: シーングラフ生成性能を改善するために,自己教師付きリレーショナルアライメントの正規化を導入する。 提案されたアライメントは一般的なもので、既存のシーングラフ生成フレームワークと組み合わせることができる。 本稿では,この自己教師付きリレーショナルアライメントと2つのシーングラフ生成アーキテクチャの有効性について述べる。
• 参考スコア（独自算出の注目度）: 44.3983804479146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of scene graph generation is to predict a graph from an input image, where nodes correspond to identified and localized objects and edges to their corresponding interaction predicates. Existing methods are trained in a fully supervised manner and focus on message passing mechanisms, loss functions, and/or bias mitigation. In this work we introduce a simple-yet-effective self-supervised relational alignment regularization designed to improve the scene graph generation performance. The proposed alignment is general and can be combined with any existing scene graph generation framework, where it is trained alongside the original model's objective. The alignment is achieved through distillation, where an auxiliary relation prediction branch, that mirrors and shares parameters with the supervised counterpart, is designed. In the auxiliary branch, relational input features are partially masked prior to message passing and predicate prediction. The predictions for masked relations are then aligned with the supervised counterparts after the message passing. We illustrate the effectiveness of this self-supervised relational alignment in conjunction with two scene graph generation architectures, SGTR and Neural Motifs, and show that in both cases we achieve significantly improved performance.
• Abstract（参考訳）: シーングラフ生成の目標は、ノードが識別および局所化されたオブジェクトとエッジと対応する相互作用述語に対応する入力画像からグラフを予測することである。 既存のメソッドは、完全に監督された方法でトレーニングされ、メッセージパッシングメカニズム、損失関数、および/またはバイアス緩和にフォーカスします。 本研究では,シーングラフ生成性能の向上を目的とした,単純かつ効率的な自己教師付きリレーショナルアライメント正規化を提案する。 提案されたアライメントは一般的であり、既存のシーングラフ生成フレームワークと組み合わせることができ、元のモデルの目的と並行してトレーニングされる。 このアライメントは、教師付きアラインメントとパラメータをミラーし共有する補助関係予測分岐をデザインした蒸留によって達成される。 補助分岐では、関係入力機能はメッセージパッシングと予測予測の前に部分的にマスクされる。 マスクされた関係の予測は、メッセージの送信後に監督された関係と整列される。 この自己教師付きリレーショナルアライメントの有効性を,sgtrとニューラルモチーフという2つのシーングラフ生成アーキテクチャと組み合わせて説明し,いずれの場合においても有意にパフォーマンスが向上することを示す。

関連論文リスト

• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• Semantic Scene Graph Generation Based on an Edge Dual Scene Graph and Message Passing Neural Network [3.9280441311534653]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をキャプチャし、構造化グラフベースの表現を生成する。 既存のSGG法は、詳細な関係を正確に予測する能力に制限がある。 本稿では,エッジデュアルシーングラフ生成(EdgeSGG)と呼ばれるマルチオブジェクト関係のモデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T12:36:52Z)
• Line Graph Contrastive Learning for Link Prediction [4.876567687745239]
  多視点情報を得るために,Line Graph Contrastive Learning (LGCL)法を提案する。 6つの公開データセットの実験により、LGCLはリンク予測タスクの現在のベンチマークを上回っている。
  論文  参考訳（メタデータ） (2022-10-25T06:57:00Z)
• Iterative Scene Graph Generation [55.893695946885174]
  シーングラフ生成は、オブジェクトエンティティとその対応する相互作用述語を所定の画像(またはビデオ)で識別する。 シーングラフ生成への既存のアプローチは、推定イテレーションの実現を可能にするために、関節分布の特定の因子化を前提としている。 本稿では,この制限に対処する新しいフレームワークを提案するとともに,画像に動的条件付けを導入する。
  論文  参考訳（メタデータ） (2022-07-27T10:37:29Z)
• Relation Regularized Scene Graph Generation [206.76762860019065]
  SGG(Scene Graph Generation)は、検出されたオブジェクトの上に構築され、オブジェクトのペアの視覚的関係を予測する。 本稿では,2つのオブジェクト間の関係を予測できる関係正規化ネットワーク(R2-Net)を提案する。 我々のR2-Netはオブジェクトラベルを効果的に洗練し、シーングラフを生成する。
  論文  参考訳（メタデータ） (2022-02-22T11:36:49Z)
• RelTR: Relation Transformer for Scene Graph Generation [34.1193503312965]
  エンコーダ-デコーダアーキテクチャを用いたシーングラフ生成モデルRelTRを提案する。 モデルは、異なる種類の注意機構を用いて、固定サイズの三重項の主観的対象を推定する。 Visual GenomeとOpen Images V6データセットの実験は、我々のモデルの優れた性能と高速な推論を実証している。
  論文  参考訳（メタデータ） (2022-01-27T11:53:41Z)
• Segmentation-grounded Scene Graph Generation [47.34166260639392]
  ピクセルレベルセグメンテーションに基づくシーングラフ生成のためのフレームワークを提案する。 私たちのフレームワークは、基盤となるシーングラフ生成方法に無知です。 ターゲットデータセットと補助データセットの両方でマルチタスクで学習される。
  論文  参考訳（メタデータ） (2021-04-29T08:54:08Z)
• Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization [77.21951145754065]
  本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。 CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
  論文  参考訳（メタデータ） (2020-08-04T08:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。