論文の概要: Image-Graph-Image Translation via Auto-Encoding

• arxiv url: http://arxiv.org/abs/2012.05975v1
• Date: Thu, 10 Dec 2020 21:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 06:20:01.332331
• Title: Image-Graph-Image Translation via Auto-Encoding
• Title（参考訳）: 自動符号化による画像グラフ画像翻訳
• Authors: Chenyang Lu and Gijs Dubbelman
• Abstract要約: この研究は、外部の監視を必要とせず、画像から画像への変換タスクを学習する最初の畳み込みニューラルネットワークを示す。 私たちは、ボトルネックがグラフのノードとエッジをエンコードする、完全に異なる自動エンコーダに基づいた自己監視アプローチを初めて提示しました。
• 参考スコア（独自算出の注目度）: 4.847617604851614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work presents the first convolutional neural network that learns an image-to-graph translation task without needing external supervision. Obtaining graph representations of image content, where objects are represented as nodes and their relationships as edges, is an important task in scene understanding. Current approaches follow a fully-supervised approach thereby requiring meticulous annotations. To overcome this, we are the first to present a self-supervised approach based on a fully-differentiable auto-encoder in which the bottleneck encodes the graph's nodes and edges. This self-supervised approach can currently encode simple line drawings into graphs and obtains comparable results to a fully-supervised baseline in terms of F1 score on triplet matching. Besides these promising results, we provide several directions for future research on how our approach can be extended to cover more complex imagery.
• Abstract（参考訳）: この研究は、外部の監視を必要とせず、画像から画像への変換タスクを学習する最初の畳み込みニューラルネットワークを示す。 オブジェクトをノードとして表現し、それらの関係をエッジとして表現する画像コンテンツのグラフ表現を得ることは、シーン理解において重要なタスクである。 現在のアプローチは、十分に管理されたアプローチに従っており、綿密なアノテーションを必要とする。 これを解決するために、我々は、ボトルネックがグラフのノードとエッジをエンコードする完全微分可能なオートエンコーダに基づく自己教師型アプローチを初めて提示する。 この自己教師付きアプローチは、現在単純な線引きをグラフにエンコードでき、トリプレットマッチングのf1スコアで完全に教師付きベースラインと同等の結果を得ることができる。 これらの有望な結果に加えて、より複雑な画像をカバーするために我々のアプローチをどのように拡張できるかについて、今後の研究の方向性を示す。

関連論文リスト

• InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
  InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。 InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。 Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
  論文  参考訳（メタデータ） (2024-10-09T17:56:15Z)
• Composing Object Relations and Attributes for Image-Text Matching [70.47747937665987]
  この研究は、シーングラフを利用して、リレーショナルエッジで相互接続されたオブジェクトや属性のノードでキャプションを表現するデュアルエンコーダ画像テキストマッチングモデルを導入する。 本モデルは,オブジェクト属性とオブジェクトオブジェクトの意味関係を効率的に符号化し,ロバストかつ高速な性能システムを実現する。
  論文  参考訳（メタデータ） (2024-06-17T17:56:01Z)
• Graph Context Transformation Learning for Progressive Correspondence Pruning [26.400567961735234]
  本稿では,プログレッシブ対応プルーニングのためのコンセンサスガイダンスを行うために,文脈情報を強化するグラフコンテキスト変換ネットワーク(GCT-Net)を提案する。 具体的には、まずグラフネットワークを生成し、次にマルチブランチグラフコンテキストに変換するグラフコンテキストエンハンス変換器を設計する。 そこで本稿では,グラフ・コンテキスト・ガイダンス・トランスフォーマ(Graph Context Guidance Transformer)を提案する。
  論文  参考訳（メタデータ） (2023-12-26T09:43:30Z)
• Patch-wise Graph Contrastive Learning for Image Translation [69.85040887753729]
  グラフニューラルネットワークを利用して、トポロジを意識した特徴をキャプチャする。 予め訓練されたエンコーダからパッチワイドな類似性に基づいてグラフを構築する。 階層的な意味構造を捉えるために,グラフプーリングを提案する。
  論文  参考訳（メタデータ） (2023-12-13T15:45:19Z)
• SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering [0.0]
  シーングラフはマルチモーダル画像解析の有用なツールとして登場した。 理想化されたアノテートシーングラフを利用する現在の手法は、画像から抽出された予測シーングラフを使用する場合、一般化に苦慮している。 本稿では,事前学習したシーングラフ生成器を用いて,入力画像からシーングラフを抽出する。
  論文  参考訳（メタデータ） (2023-10-03T07:14:53Z)
• A Graph-Matching Approach for Cross-view Registration of Over-view 2 and Street-view based Point Clouds [4.742825811314168]
  本稿では,ビュー不変の特徴として意味的セグメント化されたオブジェクト境界を利用する,クロスビューデータの完全自動ジオレジストリ手法を提案する。 提案手法は,衛星とストリートビューに基づく点群から検出されたグラフのノードとして建物セグメントをモデル化する。 一致したノードは、正確な登録を可能にするためにさらに最適化され、2D29 3Dのコンプリートを維持するために、ストリートビューイメージ上の束調整が制限される。
  論文  参考訳（メタデータ） (2022-02-14T16:43:28Z)
• Augmented Abstractive Summarization With Document-LevelSemantic Graph [3.0272794341021667]
  従来の抽象的手法では、配列からシーケンスへの構造を適用して、モジュールなしで要約を生成する。 セマンティックグラフを用いて生成性能を向上する。 このようなエンティティグラフの情報を活用するために、新しいニューラルデコーダが提示される。
  論文  参考訳（メタデータ） (2021-09-13T15:12:34Z)
• Learning to Generate Scene Graph from Natural Language Supervision [52.18175340725455]
  シーングラフと呼ばれる画像内の局所化オブジェクトとその関係をグラフィカルに表現するために,画像と文のペアから学習する最初の方法の1つを提案する。 既製のオブジェクト検出器を利用してオブジェクトのインスタンスを識別し、ローカライズし、検出された領域のラベルとキャプションから解析された概念をマッチングし、シーングラフを学習するための"擬似ラベル"を作成する。
  論文  参考訳（メタデータ） (2021-09-06T03:38:52Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)
• Learning Representations by Predicting Bags of Visual Words [55.332200948110895]
  自己教師付き表現学習ターゲットは、ラベルなしデータから畳み込みに基づく画像表現を学習する。 この分野におけるNLP手法の成功に触発された本研究では,空間的に高密度な画像記述に基づく自己教師型アプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。