論文の概要: Hierarchical Relationships: A New Perspective to Enhance Scene Graph
Generation
- arxiv url: http://arxiv.org/abs/2303.06842v3
- Date: Mon, 2 Oct 2023 05:05:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 20:08:18.467865
- Title: Hierarchical Relationships: A New Perspective to Enhance Scene Graph
Generation
- Title(参考訳): 階層的関係性: シーングラフ生成の新たな視点
- Authors: Bowen Jiang and Camillo J. Taylor
- Abstract要約: 本稿では,ラベル間の階層構造を関係やオブジェクトに活用することにより,シーングラフ生成システムの性能を大幅に向上させることができることを示す。
一対のオブジェクトインスタンス間の関係のスーパーカテゴリを共同で予測するために、ベイズ予測ヘッドを導入する。
Visual Genomeデータセットの実験は、特に述語分類とゼロショット設定において、その強力なパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 8.28849026314542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a finding that leveraging the hierarchical structures
among labels for relationships and objects can substantially improve the
performance of scene graph generation systems. The focus of this work is to
create an informative hierarchical structure that can divide object and
relationship categories into disjoint super-categories in a systematic way.
Specifically, we introduce a Bayesian prediction head to jointly predict the
super-category of relationships between a pair of object instances, as well as
the detailed relationship within that super-category simultaneously,
facilitating more informative predictions. The resulting model exhibits the
capability to produce a more extensive set of predicates beyond the dataset
annotations, and to tackle the prevalent issue of low annotation quality. While
our paper presents preliminary findings, experiments on the Visual Genome
dataset show its strong performance, particularly in predicate classifications
and zero-shot settings, that demonstrates the promise of our approach.
- Abstract(参考訳): 本稿では,関係やオブジェクトのラベル間の階層構造を活用することで,シーングラフ生成システムの性能を大幅に向上できることを示す。
この研究の焦点は、オブジェクトと関係カテゴリを系統的に非結合的なスーパーカテゴリに分割できる情報的階層構造を作ることである。
具体的には、一対のオブジェクトインスタンス間の関係のスーパーカテゴリと、そのスーパーカテゴリ内の詳細な関係を同時に予測するベイズ予測ヘッドを導入し、より情報的な予測を容易にする。
結果として得られたモデルは、データセットアノテーションを超えてより広範な述語セットを生成し、低アノテーション品質の一般的な問題に取り組む能力を示す。
本稿では予備的な知見を提示するが,視覚ゲノムデータセットを用いた実験では,特に述語分類やゼロショット設定において,その高い性能を示す。
関連論文リスト
- From Logits to Hierarchies: Hierarchical Clustering made Simple [16.132657141993548]
事前訓練された非階層クラスタリングモデル上に実装された軽量なプロシージャは、階層クラスタリングに特化して設計されたモデルより優れていることを示す。
提案手法は,微調整を必要とせず,ログを出力する事前学習クラスタリングモデルに適用可能である。
論文 参考訳(メタデータ) (2024-10-10T12:27:45Z) - Enhancing Scene Graph Generation with Hierarchical Relationships and Commonsense Knowledge [7.28830964611216]
この研究は、関係階層とコモンセンス知識の両方によってシーングラフを生成するための拡張されたアプローチを導入する。
我々は,シーングラフ予測システムから結果を批判するために基礎モデルを活用する,堅牢なコモンセンス検証パイプラインを実装した。
Visual GenomeとOpenImage V6データセットの実験では、既存のシーングラフ生成アルゴリズムのプラグインとプレイの拡張として、提案されたモジュールをシームレスに統合できることが示されている。
論文 参考訳(メタデータ) (2023-11-21T06:03:20Z) - Graph-based Time Series Clustering for End-to-End Hierarchical Forecasting [18.069747511100132]
時系列間の関係は、効果的な予測モデル学習における帰納バイアスとして利用することができる。
本稿では,関係性および階層的帰納バイアスを統一するグラフベースの手法を提案する。
論文 参考訳(メタデータ) (2023-05-30T16:27:25Z) - Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。
クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。
このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
論文 参考訳(メタデータ) (2023-05-24T11:05:12Z) - Prototype-based Embedding Network for Scene Graph Generation [105.97836135784794]
現在のシーングラフ生成(SGG)手法は、コンテキスト情報を探索し、エンティティペア間の関係を予測する。
被写体と対象物の組み合わせが多様であるため、各述語カテゴリーには大きなクラス内変異が存在する。
プロトタイプベースのEmbedding Network (PE-Net) は、エンティティ/述語を、プロトタイプに準拠したコンパクトで独特な表現でモデル化する。
PLは、PE-Netがそのようなエンティティ述語マッチングを効率的に学習するのを助けるために導入され、不明瞭なエンティティ述語マッチングを緩和するためにプロトタイプ正規化(PR)が考案されている。
論文 参考訳(メタデータ) (2023-03-13T13:30:59Z) - Iterative Scene Graph Generation [55.893695946885174]
シーングラフ生成は、オブジェクトエンティティとその対応する相互作用述語を所定の画像(またはビデオ)で識別する。
シーングラフ生成への既存のアプローチは、推定イテレーションの実現を可能にするために、関節分布の特定の因子化を前提としている。
本稿では,この制限に対処する新しいフレームワークを提案するとともに,画像に動的条件付けを導入する。
論文 参考訳(メタデータ) (2022-07-27T10:37:29Z) - Relation Regularized Scene Graph Generation [206.76762860019065]
SGG(Scene Graph Generation)は、検出されたオブジェクトの上に構築され、オブジェクトのペアの視覚的関係を予測する。
本稿では,2つのオブジェクト間の関係を予測できる関係正規化ネットワーク(R2-Net)を提案する。
我々のR2-Netはオブジェクトラベルを効果的に洗練し、シーングラフを生成する。
論文 参考訳(メタデータ) (2022-02-22T11:36:49Z) - Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。
本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。
提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
論文 参考訳(メタデータ) (2021-08-15T13:14:28Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳(メタデータ) (2020-10-10T14:03:20Z) - Reasoning with Latent Structure Refinement for Document-Level Relation
Extraction [20.308845516900426]
本稿では,潜在文書レベルグラフを自動的に誘導することにより,文間の関係推論を促進する新しいモデルを提案する。
具体的には、大規模文書レベルデータセット(DocRED)上でF1スコア59.05を達成する。
論文 参考訳(メタデータ) (2020-05-13T13:36:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。