論文の概要: Graph Edit Distance Reward: Learning to Edit Scene Graph

• arxiv url: http://arxiv.org/abs/2008.06651v1
• Date: Sat, 15 Aug 2020 04:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 21:02:11.197518
• Title: Graph Edit Distance Reward: Learning to Edit Scene Graph
• Title（参考訳）: Graph Edit Distance Reward: シーングラフの編集を学ぶ
• Authors: Lichang Chen, Guosheng Lin, Shijie Wang, Qingyao Wu
• Abstract要約: 本研究では,これまで検討されていないユーザ指示に従ってシーングラフを編集する手法を提案する。 具体的には,テキストから得られるセマンティクスとしてシーングラフの編集を学習するために,グラフ編集距離再帰(Graph Edit Distance Reward)を提案する。 テキスト編集画像検索の文脈において,CSSおよびCRIRデータセットにおける本手法の有効性を検証する。
• 参考スコア（独自算出の注目度）: 69.39048809061714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene Graph, as a vital tool to bridge the gap between language domain and image domain, has been widely adopted in the cross-modality task like VQA. In this paper, we propose a new method to edit the scene graph according to the user instructions, which has never been explored. To be specific, in order to learn editing scene graphs as the semantics given by texts, we propose a Graph Edit Distance Reward, which is based on the Policy Gradient and Graph Matching algorithm, to optimize neural symbolic model. In the context of text-editing image retrieval, we validate the effectiveness of our method in CSS and CRIR dataset. Besides, CRIR is a new synthetic dataset generated by us, which we will publish it soon for future use.
• Abstract（参考訳）: 言語ドメインと画像ドメインのギャップを埋める重要なツールであるScene Graphは、VQAのようなクロスモダリティタスクで広く採用されている。 本稿では,これまで検討されていないユーザ指示に従ってシーングラフを編集する新しい手法を提案する。 具体的には、テキストの意味としてシーングラフの編集を学習するために、ポリシー勾配とグラフマッチングアルゴリズムに基づくグラフ編集距離報酬を提案し、ニューラルネットワークのシンボリックモデルを最適化する。 テキスト編集画像検索の文脈において,CSSおよびCRIRデータセットにおける本手法の有効性を検証する。 さらに、CRIRは私たちによって生成された新しい合成データセットであり、近い将来に公開します。

関連論文リスト

• From Pixels to Graphs: Open-Vocabulary Scene Graph Generation with Vision-Language Models [81.92098140232638]
  シーングラフ生成(SGG)は、下流の推論タスクのための中間グラフ表現に視覚シーンを解析することを目的としている。 既存の手法は、新しい視覚的関係の概念を持つシーングラフを生成するのに苦労している。 シークエンス生成に基づく新しいオープン語彙SGGフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-01T04:21:01Z)
• EPIC: Graph Augmentation with Edit Path Interpolation via Learnable Cost [12.191001329584502]
  本稿では,グラフデータセットを新たに拡張するEPIC (Edit Path Interpolation via learnable Cost)を提案する。 不規則な領域にある2つのグラフの間を補間するために、EPICは2つのグラフ間の変換プロセスを表す編集パスを構築する。 我々のアプローチは多くのタスクにおいて既存の拡張テクニックよりも優れています。
  論文  参考訳（メタデータ） (2023-06-02T07:19:07Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• Diffusion-Based Scene Graph to Image Generation with Masked Contrastive Pre-Training [112.94542676251133]
  画像とのアライメントを直接最適化することで,シーングラフの埋め込みを学習する。 具体的には,シーングラフからグローバル情報とローカル情報の両方を抽出するエンコーダを事前訓練する。 SGDiffと呼ばれる結果の方法は、シーングラフノードと接続を変更することによって生成された画像のセマンティックな操作を可能にする。
  論文  参考訳（メタデータ） (2022-11-21T01:11:19Z)
• Scene Graph Modification as Incremental Structure Expanding [61.84291817776118]
  本研究では,既存のシーングラフを自然言語クエリに基づいて更新する方法を学習するために,シーングラフ修正(SGM)に注目した。 インクリメンタル構造拡張(ISE)の導入によるグラフ拡張タスクとしてのSGM 既存のデータセットよりも複雑なクエリと大きなシーングラフを含む、挑戦的なデータセットを構築します。
  論文  参考訳（メタデータ） (2022-09-15T16:26:14Z)
• Learning to Generate Scene Graph from Natural Language Supervision [52.18175340725455]
  シーングラフと呼ばれる画像内の局所化オブジェクトとその関係をグラフィカルに表現するために,画像と文のペアから学習する最初の方法の1つを提案する。 既製のオブジェクト検出器を利用してオブジェクトのインスタンスを識別し、ローカライズし、検出された領域のラベルとキャプションから解析された概念をマッチングし、シーングラフを学習するための"擬似ラベル"を作成する。
  論文  参考訳（メタデータ） (2021-09-06T03:38:52Z)
• A Neural Edge-Editing Approach for Document-Level Relation Graph Extraction [9.449257113935461]
  文書内の関係をエンティティ間の関係グラフとして扱う。 関係グラフは、初期グラフのエッジを編集することによって反復的に構成される。 エッジを編集する方法は、それらをクローズファーストな方法で分類することです。
  論文  参考訳（メタデータ） (2021-06-18T03:46:49Z)
• RTIC: Residual Learning for Text and Image Composition using Graph Convolutional Network [19.017377597937617]
  画像検索のための画像とテキストの構成学習について検討する。 本稿では,グラフ畳み込みネットワーク(gcn)と既存の合成手法を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T09:41:52Z)
• Learning Graph Edit Distance by Graph Neural Networks [3.002973807612758]
  本稿では,グラフ編集距離の従来の近似と深度学習の進歩を組み合わせた新しいフレームワークを提案する。 提案手法は,グラフ構造を捉えるためにメッセージパッシングニューラルネットワークを用いており,その情報を利用して距離計算を行う。
  論文  参考訳（メタデータ） (2020-08-17T21:49:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。