論文の概要: SGDraw: Scene Graph Drawing Interface Using Object-Oriented Representation

• arxiv url: http://arxiv.org/abs/2211.16697v1
• Date: Wed, 30 Nov 2022 02:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 17:50:48.645906
• Title: SGDraw: Scene Graph Drawing Interface Using Object-Oriented Representation
• Title（参考訳）: SGDraw:オブジェクト指向表現を用いたシーングラフ描画インタフェース
• Authors: Tianyu Zhang, Xusheng Du, Chia-Ming Chang, Xi Yang, Haoran Xie
• Abstract要約: オブジェクト指向シーングラフ表現を用いたシーングラフ描画インタフェースであるSGDrawを提案する。 SGDrawはより詳細なシーングラフを生成するのに役立ち、従来のバウンディングボックスアノテーションよりも正確に画像を記述することができる。
• 参考スコア（独自算出の注目度）: 18.109884282338356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene understanding is an essential and challenging task in computer vision. To provide the visually fundamental graphical structure of an image, the scene graph has received increased attention due to its powerful semantic representation. However, it is difficult to draw a proper scene graph for image retrieval, image generation, and multi-modal applications. The conventional scene graph annotation interface is not easy to use in image annotations, and the automatic scene graph generation approaches using deep neural networks are prone to generate redundant content while disregarding details. In this work, we propose SGDraw, a scene graph drawing interface using object-oriented scene graph representation to help users draw and edit scene graphs interactively. For the proposed object-oriented representation, we consider the objects, attributes, and relationships of objects as a structural unit. SGDraw provides a web-based scene graph annotation and generation tool for scene understanding applications. To verify the effectiveness of the proposed interface, we conducted a comparison study with the conventional tool and the user experience study. The results show that SGDraw can help generate scene graphs with richer details and describe the images more accurately than traditional bounding box annotations. We believe the proposed SGDraw can be useful in various vision tasks, such as image retrieval and generation.
• Abstract（参考訳）: シーン理解はコンピュータビジョンにおいて必要不可欠な課題である。 画像の視覚的な基本的なグラフィカルな構造を提供するため、シーングラフはその強力な意味表現により注目を集めている。 しかし、画像検索、画像生成、マルチモーダルアプリケーションのための適切なシーングラフを描くことは困難である。 従来のシーングラフアノテーションインターフェースは画像アノテーションでは使いやすく、ディープニューラルネットワークを用いたシーングラフの自動生成アプローチは詳細を無視して冗長なコンテンツを生成する傾向がある。 本研究では,オブジェクト指向のシーングラフ表現を用いたシーングラフ描画インタフェースであるSGDrawを提案する。 提案するオブジェクト指向表現では、オブジェクトのオブジェクト、属性、および関係を構造単位として考える。 SGDrawは、シーン理解アプリケーションのためのWebベースのシーングラフアノテーションと生成ツールを提供する。 提案するインタフェースの有効性を検証するために,従来のツールとの比較とユーザエクスペリエンス調査を行った。 その結果,SGDrawはより詳細なシーングラフを生成するのに役立ち,従来の境界ボックスアノテーションよりも正確に画像を記述することができることがわかった。 提案したSGDrawは,画像検索や生成など,様々な視覚タスクに有用であると考えられる。

関連論文リスト

• SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering [0.0]
  シーングラフはマルチモーダル画像解析の有用なツールとして登場した。 理想化されたアノテートシーングラフを利用する現在の手法は、画像から抽出された予測シーングラフを使用する場合、一般化に苦慮している。 本稿では,事前学習したシーングラフ生成器を用いて,入力画像からシーングラフを抽出する。
  論文  参考訳（メタデータ） (2023-10-03T07:14:53Z)
• Diffusion-Based Scene Graph to Image Generation with Masked Contrastive Pre-Training [112.94542676251133]
  画像とのアライメントを直接最適化することで,シーングラフの埋め込みを学習する。 具体的には,シーングラフからグローバル情報とローカル情報の両方を抽出するエンコーダを事前訓練する。 SGDiffと呼ばれる結果の方法は、シーングラフノードと接続を変更することによって生成された画像のセマンティックな操作を可能にする。
  論文  参考訳（メタデータ） (2022-11-21T01:11:19Z)
• Image Semantic Relation Generation [0.76146285961466]
  シーングラフは複雑な画像情報を排除し、意味レベルの関係を利用して視覚モデルのバイアスを修正することができる。 本研究では,画像意味関係生成(ISRG)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T16:15:19Z)
• Scene Graph Modification as Incremental Structure Expanding [61.84291817776118]
  本研究では,既存のシーングラフを自然言語クエリに基づいて更新する方法を学習するために,シーングラフ修正(SGM)に注目した。 インクリメンタル構造拡張(ISE)の導入によるグラフ拡張タスクとしてのSGM 既存のデータセットよりも複雑なクエリと大きなシーングラフを含む、挑戦的なデータセットを構築します。
  論文  参考訳（メタデータ） (2022-09-15T16:26:14Z)
• Symbolic image detection using scene and knowledge graphs [39.49756199669471]
  画像のグラフ表現であるシーングラフを用いて、視覚的コンポーネントをキャプチャする。 本研究では,ConceptNetから抽出した事実を用いて,オブジェクトや属性を推論する知識グラフを生成する。 我々はさらにネットワークを拡張して、グラフの表現の重要性を学習するアテンションメカニズムを利用する。
  論文  参考訳（メタデータ） (2022-06-10T04:06:28Z)
• Scene Graph Expansion for Semantics-Guided Image Outpainting [27.249757777855176]
  本稿では,ノードとエッジの特徴を関連する構造情報をモデル化するための入力として利用するSGT(Scene Graph Transformer)を提案する。 グラフベースの入力をよりよく理解し、処理するために、SGTはノードレベルとエッジレベルの両方で特徴的注意を独自に実行します。 レイアウトとシーングラフを持つ部分的な入力画像を考えると,SGTはシーングラフの拡張と完全なレイアウトへの変換に応用できることを示す。
  論文  参考訳（メタデータ） (2022-05-05T23:13:43Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using Scene Graphs [85.54212143154986]
  制御可能なシーン合成は、基本的な仕様を満たす3D情報を生成することで構成される。 シーングラフは、オブジェクト(ノード)とオブジェクト間の関係(エッジ)からなるシーンの表現である 本稿では,シーングラフから形状を直接エンドツーエンドに生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-19T17:59:07Z)
• Unconditional Scene Graph Generation [72.53624470737712]
  我々はラベル付きおよび有向グラフ上の確率分布を学習できるSceneGraphGenと呼ばれる深層自己回帰モデルを開発した。 SceneGraphGenによって生成されたシーングラフは多様であり、実世界のシーンのセマンティックなパターンに従う。
  論文  参考訳（メタデータ） (2021-08-12T17:57:16Z)
• Learning Physical Graph Representations from Visual Scenes [56.7938395379406]
  物理シーングラフ(PSG)はシーンを階層的なグラフとして表現し、ノードは異なるスケールのオブジェクト部品に直感的に対応し、部品間の物理的接続にエッジを持つ。 PSGNetは、低レベルの画像情報と高レベルの画像情報を組み合わせたリカレントフィードバック接続、空間的に均一な特徴マップをオブジェクト中心のグラフ構造に変換するグラフプーリングとベクトル化操作を含む、標準的なCNNを拡張している。 我々は,PSGNetがシーンセグメンテーションタスクにおいて,他の自己教師付きシーン表現アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。