論文の概要: A Comprehensive Survey of Scene Graphs: Generation and Application
- arxiv url: http://arxiv.org/abs/2104.01111v5
- Date: Fri, 7 Jan 2022 01:35:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 20:51:30.518575
- Title: A Comprehensive Survey of Scene Graphs: Generation and Application
- Title（参考訳）: シーングラフの総合的調査:生成と応用
- Authors: Xiaojun Chang, Pengzhen Ren, Pengfei Xu, Zhihui Li, Xiaojiang Chen,
and Alex Hauptmann
- Abstract要約: シーングラフ(Scene graph)は、シーン内のオブジェクト間のオブジェクト、属性、関係を明確に表現できるシーンの構造化された表現である。
現在、シーングラフの比較的体系的な調査は行われていない。
- 参考スコア（独自算出の注目度）: 42.07469181785126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scene graph is a structured representation of a scene that can clearly
express the objects, attributes, and relationships between objects in the
scene. As computer vision technology continues to develop, people are no longer
satisfied with simply detecting and recognizing objects in images; instead,
people look forward to a higher level of understanding and reasoning about
visual scenes. For example, given an image, we want to not only detect and
recognize objects in the image, but also know the relationship between objects
(visual relationship detection), and generate a text description (image
captioning) based on the image content. Alternatively, we might want the
machine to tell us what the little girl in the image is doing (Visual Question
Answering (VQA)), or even remove the dog from the image and find similar images
(image editing and retrieval), etc. These tasks require a higher level of
understanding and reasoning for image vision tasks. The scene graph is just
such a powerful tool for scene understanding. Therefore, scene graphs have
attracted the attention of a large number of researchers, and related research
is often cross-modal, complex, and rapidly developing. However, no relatively
systematic survey of scene graphs exists at present. To this end, this survey
conducts a comprehensive investigation of the current scene graph research.
More specifically, we first summarized the general definition of the scene
graph, then conducted a comprehensive and systematic discussion on the
generation method of the scene graph (SGG) and the SGG with the aid of prior
knowledge. We then investigated the main applications of scene graphs and
summarized the most commonly used datasets. Finally, we provide some insights
into the future development of scene graphs. We believe this will be a very
helpful foundation for future research on scene graphs.
- Abstract（参考訳）: シーングラフ(Scene graph)は、シーン内のオブジェクト間のオブジェクト、属性、関係を明確に表現できるシーンの構造表現である。
コンピュータビジョン技術が発展を続けるにつれ、人々は単に画像中の物体を検出して認識することに満足せず、より高度な理解と視覚シーンの推論を楽しみにしています。
例えば、画像が与えられたら、画像内のオブジェクトを検出し認識するだけでなく、オブジェクト間の関係(視覚的な関係検出)を知って、画像の内容に基づいてテキスト記述(画像キャプション)を生成したいのです。
あるいは、画像の中の小さな女の子が何をしているか(ビジュアル質問回答(VQA))や、犬を画像から取り除き、似たような画像(画像の編集と検索)を見つけることなど、マシンに教えてほしいかもしれません。
これらのタスクは、画像ビジョンタスクのより高度な理解と推論を必要とする。
シーングラフは、シーンを理解するための強力なツールです。
そのため、シーングラフは多くの研究者の注目を集めており、関連する研究はしばしばクロスモーダルで複雑で、急速に発展している。
しかし、現在、シーングラフの比較的体系的な調査は行われていない。
この目的のために,本調査は現在のシーングラフ研究を包括的に調査する。
より具体的には、まずシーングラフの一般的な定義を要約し、その後、事前知識の助けを借りてシーングラフ(sgg)とsggの生成方法に関する包括的かつ体系的な議論を行った。
次に、シーングラフの主な応用を調査し、最もよく使われるデータセットを要約した。
最後に,シーングラフの今後の展開について考察する。
これは将来のシーングラフ研究に非常に役立つ基盤になるだろうと考えています。
関連論文リスト
- Symbolic image detection using scene and knowledge graphs [39.49756199669471]
画像のグラフ表現であるシーングラフを用いて、視覚的コンポーネントをキャプチャする。
本研究では,ConceptNetから抽出した事実を用いて,オブジェクトや属性を推論する知識グラフを生成する。
我々はさらにネットワークを拡張して、グラフの表現の重要性を学習するアテンションメカニズムを利用する。
論文 参考訳（メタデータ） (2022-06-10T04:06:28Z) - SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense
Reasoning [61.57887011165744]
マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。
視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-16T03:16:30Z) - Unconditional Scene Graph Generation [72.53624470737712]
我々はラベル付きおよび有向グラフ上の確率分布を学習できるSceneGraphGenと呼ばれる深層自己回帰モデルを開発した。
SceneGraphGenによって生成されたシーングラフは多様であり、実世界のシーンのセマンティックなパターンに従う。
論文 参考訳（メタデータ） (2021-08-12T17:57:16Z) - Image Scene Graph Generation (SGG) Benchmark [58.33119409657256]
画像シーングラフ生成(オブジェクト、関係検出)への関心が高まっている。
優れたベンチマークが欠如しているため、異なるシーングラフ生成モデルの報告結果と直接比較することができない。
我々は,マスマルクン・ベンチマークといくつかの人気モデルに基づく,待望のシーングラフ生成ベンチマークを開発した。
論文 参考訳（メタデータ） (2021-07-27T05:10:09Z) - Graphhopper: Multi-Hop Scene Graph Reasoning for Visual Question
Answering [13.886692497676659]
Graphhopperは知識グラフ推論、コンピュータビジョン、自然言語処理技術を統合することでタスクにアプローチする新しい手法である。
画像中のオブジェクトとその属性と相互関係を記述したシーングラフを導出する。
強化学習エージェントは、抽出されたシーングラフ上でマルチホップで自律的にナビゲートし、推論経路を生成するように訓練される。
論文 参考訳（メタデータ） (2021-07-13T18:33:04Z) - Understanding the Role of Scene Graphs in Visual Question Answering [26.02889386248289]
我々はGQAデータセット上で実験を行い、計数、構成性、高度な推論能力を必要とする質問の挑戦的なセットを示す。
我々は,シーングラフに使用する画像+質問アーキテクチャを採用し,未認識画像の様々なシーングラフ生成手法を評価し,人間の注釈と自動生成シーングラフを活用するためのトレーニングカリキュラムを提案する。
視覚質問応答におけるシーングラフの利用に関する多面的研究を行い,本研究を第一種とした。
論文 参考訳（メタデータ） (2021-01-14T07:27:37Z) - Sketching Image Gist: Human-Mimetic Hierarchical Scene Graph Generation [98.34909905511061]
望ましいシーングラフは階層的に構築されるべきであり,シーングラフをモデル化するための新しいスキームを導入する。
HETに基づいてシーングラフを生成するために,階層と兄弟関係を具体的にエンコードするHETをHybrid-LSTM(Hybrid-LSTM)で解析する。
シーングラフにおける重要な関係性をさらに優先順位付けするために、関係ランク付けモジュール(RRM)を考案し、それらのランク付けを動的に調整する。
論文 参考訳（メタデータ） (2020-07-17T05:12:13Z) - Scene Graph Reasoning for Visual Question Answering [23.57543808056452]
本研究では,シーン内に存在するオブジェクトとその意味的・空間的関係に基づいて,コンテキスト駆動型シーケンシャルな推論を行うことにより,タスクにアプローチする手法を提案する。
強化エージェントは、抽出されたシーングラフを自律的にナビゲートして、回答を導出する基礎となるパスを生成する。
論文 参考訳（メタデータ） (2020-07-02T13:02:54Z) - Visual Relationship Detection using Scene Graphs: A Survey [1.3505077405741583]
シーングラフ(Scene Graph)は、シーンとその中のさまざまな関係をよりよく表現するためのテクニックである。
本稿では、シーングラフ生成の様々な技術、視覚的関係を表現するための有効性、下流の様々な課題の解決にどのように使われているかについて、詳細な調査を行う。
論文 参考訳（メタデータ） (2020-05-16T17:06:06Z) - Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。
本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。
本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
論文 参考訳（メタデータ） (2020-04-08T12:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。