論文の概要: Patch-wise Graph Contrastive Learning for Image Translation

• arxiv url: http://arxiv.org/abs/2312.08223v2
• Date: Mon, 19 Feb 2024 23:39:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 20:03:31.995981
• Title: Patch-wise Graph Contrastive Learning for Image Translation
• Title（参考訳）: 画像翻訳のためのパッチワイズグラフコントラスト学習
• Authors: Chanyong Jung, Gihyun Kwon, Jong Chul Ye
• Abstract要約: グラフニューラルネットワークを利用して、トポロジを意識した特徴をキャプチャする。 予め訓練されたエンコーダからパッチワイドな類似性に基づいてグラフを構築する。 階層的な意味構造を捉えるために,グラフプーリングを提案する。
• 参考スコア（独自算出の注目度）: 69.85040887753729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, patch-wise contrastive learning is drawing attention for the image translation by exploring the semantic correspondence between the input and output images. To further explore the patch-wise topology for high-level semantic understanding, here we exploit the graph neural network to capture the topology-aware features. Specifically, we construct the graph based on the patch-wise similarity from a pretrained encoder, whose adjacency matrix is shared to enhance the consistency of patch-wise relation between the input and the output. Then, we obtain the node feature from the graph neural network, and enhance the correspondence between the nodes by increasing mutual information using the contrastive loss. In order to capture the hierarchical semantic structure, we further propose the graph pooling. Experimental results demonstrate the state-of-art results for the image translation thanks to the semantic encoding by the constructed graphs.
• Abstract（参考訳）: 近年,入力画像と出力画像のセマンティック対応を探索することにより,画像翻訳のパッチワイドコントラスト学習が注目されている。 高レベルの意味理解のためのパッチワイドトポロジをさらに探求するため、グラフニューラルネットワークを用いてトポロジ対応の特徴を捉える。 具体的には,入力と出力のパッチワイド関係の整合性を高めるために,隣接行列を共用した事前学習エンコーダから,パッチワイド類似性に基づくグラフを構築する。 そして、グラフニューラルネットワークからノード特徴を取得し、コントラスト損失を用いて相互情報を増大させることにより、ノード間の対応性を高める。 階層的な意味構造を捉えるために,さらにグラフプーリングを提案する。 構築したグラフのセマンティックエンコーディングにより,画像翻訳の最先端性を示す実験結果が得られた。

関連論文リスト

• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Graph Reasoning Transformer for Image Parsing [67.76633142645284]
  本稿では,画像解析のためのグラフ推論変換器(GReaT)を提案する。 従来の変圧器と比較して、GReaTは高い相互作用効率とより目的のある相互作用パターンを有する。 その結果、GReaTは、最先端のトランスフォーマーベースラインにわずかに計算オーバーヘッドを伴って、一貫した性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-09-20T08:21:37Z)
• Learning Hierarchical Graph Representation for Image Manipulation Detection [50.04902159383709]
  画像操作検出の目的は、画像内の操作された領域を特定し、特定することである。 最近のアプローチでは、画像に残っている改ざんするアーティファクトをキャプチャするために、洗練された畳み込みニューラルネットワーク(CNN)が採用されている。 本稿では2つの並列分岐からなる階層型グラフ畳み込みネットワーク(HGCN-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-15T01:54:25Z)
• Maximize the Exploration of Congeneric Semantics for Weakly Supervised Semantic Segmentation [27.155133686127474]
  グラフニューラルネットワーク(P-GNN)を,同一のクラスラベルを含む異なる画像からの自己検出パッチに基づいて構築する。 PASCAL VOC 2012ベンチマークで実験を行い、そのモデルにより最先端の性能が得られた。
  論文  参考訳（メタデータ） (2021-10-08T08:59:16Z)
• Graph Representation Learning for Spatial Image Steganalysis [11.358487655918678]
  空間画像ステガナリシスのためのグラフ表現学習アーキテクチャを提案する。 詳細なアーキテクチャでは、各画像をグラフに変換し、ノードは画像のパッチを表し、エッジはパッチ間の局所的な関連を示す。 注意ネットワークにグラフを供給することにより、効率的なステガナリシスのための識別的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-10-03T09:09:08Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Exploring Explicit and Implicit Visual Relationships for Image Captioning [11.82805641934772]
  本稿では,画像キャプションのための領域レベルの表現を豊かにするために,明示的かつ暗黙的な視覚関係を探索する。 具体的には、オブジェクトペア上にセマンティックグラフを構築し、ゲートグラフ畳み込みネットワーク(Gated GCN)を利用して、近隣住民の情報を選択的に集約する。 暗黙的に、我々は変圧器から領域ベースの双方向エンコーダ表現を介して検出されたオブジェクト間のグローバルな相互作用を描画する。
  論文  参考訳（メタデータ） (2021-05-06T01:47:51Z)
• Scene Graph Embeddings Using Relative Similarity Supervision [4.137464623395376]
  グラフ畳み込みネットワークを用いて,シーングラフの構造を活用し,意味的画像検索に有用な画像埋め込みを生成する。 本稿では,類似画像と類似画像の対で動作し,それらの間の相対順序を埋め込み空間に課す新しい損失関数を提案する。 このランキング損失と直感的なトリプルサンプリング戦略が、検索タスクでよく知られたコントラスト損失を上回った堅牢な表現につながることを実証します。
  論文  参考訳（メタデータ） (2021-04-06T09:13:05Z)
• Image-Graph-Image Translation via Auto-Encoding [4.847617604851614]
  この研究は、外部の監視を必要とせず、画像から画像への変換タスクを学習する最初の畳み込みニューラルネットワークを示す。 私たちは、ボトルネックがグラフのノードとエッジをエンコードする、完全に異なる自動エンコーダに基づいた自己監視アプローチを初めて提示しました。
  論文  参考訳（メタデータ） (2020-12-10T21:01:32Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。