論文の概要: Deep Consensus Learning
- arxiv url: http://arxiv.org/abs/2103.08475v1
- Date: Mon, 15 Mar 2021 15:51:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 14:23:08.022403
- Title: Deep Consensus Learning
- Title(参考訳): 深層感覚学習
- Authors: Wei Sun and Tianfu Wu
- Abstract要約: 本稿では,レイアウト間合成と弱教師付き画像セマンティクスセグメンテーションのための深いコンセンサス学習を提案する。
2つの深いコンセンサスマッピングを使用して、3つのネットワークをエンドツーエンドにトレーニングする。
レイアウト・画像合成結果と弱教師付き画像セマンティックセグメンテーション結果を得る。
- 参考スコア(独自算出の注目度): 16.834584070973676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Both generative learning and discriminative learning have recently witnessed
remarkable progress using Deep Neural Networks (DNNs). For structured input
synthesis and structured output prediction problems (e.g., layout-to-image
synthesis and image semantic segmentation respectively), they often are studied
separately. This paper proposes deep consensus learning (DCL) for joint
layout-to-image synthesis and weakly-supervised image semantic segmentation.
The former is realized by a recently proposed LostGAN approach, and the latter
by introducing an inference network as the third player joining the two-player
game of LostGAN. Two deep consensus mappings are exploited to facilitate
training the three networks end-to-end: Given an input layout (a list of object
bounding boxes), the generator generates a mask (label map) and then use it to
help synthesize an image. The inference network infers the mask for the
synthesized image. Then, the latent consensus is measured between the mask
generated by the generator and the one inferred by the inference network. For
the real image corresponding to the input layout, its mask also is computed by
the inference network, and then used by the generator to reconstruct the real
image. Then, the data consensus is measured between the real image and its
reconstructed image. The discriminator still plays the role of an adversary by
computing the realness scores for a real image, its reconstructed image and a
synthesized image. In experiments, our DCL is tested in the COCO-Stuff dataset.
It obtains compelling layout-to-image synthesis results and weakly-supervised
image semantic segmentation results.
- Abstract(参考訳): 生成学習と判別学習は、最近ディープニューラルネットワーク(dnn)を用いた驚くべき進歩を目撃している。
構造化入力合成と構造化出力予測問題(例えば、それぞれレイアウト・ツー・イメージ合成と画像意味セマンティクスセグメンテーション)については、これらはしばしば別々に研究される。
本稿では,画像合成と弱教師付き画像セマンティクスセグメンテーションを組み合わせた深層コンセンサス学習(dcl)を提案する。
前者は最近提案されたLostGANアプローチにより実現され、後者はLostGANの2プレイヤーゲームに参加する3番目のプレイヤーとして推論ネットワークを導入する。
2つの深いコンセンサスマッピングを使用して、3つのネットワークをエンドツーエンドでトレーニングします。入力レイアウト(オブジェクト境界ボックスのリスト)を与えられた場合、ジェネレーターはマスク(ラベルマップ)を生成し、それを画像合成に使用します。
推論ネットワークは、合成画像のマスクを推論する。
そして、ジェネレータによって生成されたマスクと推論ネットワークによって推定されたマスクとの間に潜在コンセンサスを測定する。
入力レイアウトに対応する実画像についても、そのマスクは推論ネットワークによって計算され、生成器が実画像の再構成に使用する。
そして、実画像とその再構成画像との間でデータコンセンサスを測定する。
判別器は、実画像の現実性スコア、再構成画像、合成画像の計算によって、まだ敵の役割を担っている。
実験では、DCLはCOCO-Stuffデータセットでテストされます。
レイアウト・画像合成結果と弱教師付き画像セマンティックセグメンテーション結果を得る。
関連論文リスト
- Hamming Similarity and Graph Laplacians for Class Partitioning and
Adversarial Image Detection [2.960821510561423]
ニューラルネットワークの動作の理解と解釈を支援するために,ReLUアクティベーションパターン(ビットベクトルとして符号化)の可能性を検討する。
本稿では、Representational Dissimilarity Matrices(RDM)を用いて、ディープニューラルネットワークの埋め込み空間におけるデータのコヒーレンスについて検討する。
我々は,ビットベクトルが逆画像検出に役立ち,逆画像と非逆画像の分離において95%以上の精度を達成できることを実証した。
論文 参考訳(メタデータ) (2023-05-02T22:16:15Z) - Extracting Semantic Knowledge from GANs with Unsupervised Learning [65.32631025780631]
GAN(Generative Adversarial Networks)は、特徴写像のセマンティクスを線形に分離可能な形でエンコードする。
本稿では,線形分離性を利用してGANの特徴をクラスタリングする新しいクラスタリングアルゴリズムKLiSHを提案する。
KLiSHは、さまざまなオブジェクトのデータセットに基づいてトレーニングされたGANのきめ細かいセマンティクスの抽出に成功している。
論文 参考訳(メタデータ) (2022-11-30T03:18:16Z) - SAC-GAN: Structure-Aware Image-to-Image Composition for Self-Driving [18.842432515507035]
自動運転車のための画像拡張のための構成的アプローチを提案する。
オブジェクトイメージから収穫パッチとして表現されたオブジェクトを、バックグラウンドシーンイメージにシームレスに構成するように訓練された、エンドツーエンドのニューラルネットワークである。
合成画像の品質, 構成性, 一般化性の観点から, 我々のネットワーク, SAC-GAN による構造認識合成の評価を行った。
論文 参考訳(メタデータ) (2021-12-13T12:24:50Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳(メタデータ) (2021-12-09T18:59:21Z) - Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。
その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。
計算課題に対処する2段階の学習パラダイムを開発する。
論文 参考訳(メタデータ) (2021-11-23T15:08:26Z) - USIS: Unsupervised Semantic Image Synthesis [9.613134538472801]
セマンティック画像合成(USIS)のための新しい教師なしパラダイムを提案する。
USISは、自己教師付きセグメンテーションロスを使用して、視覚的に分離可能なセグメンテーションクラスで画像を出力することを学ぶ。
実画像の色とテクスチャの分布を高周波数情報を失うことなく一致させるため,ウェーブレットを用いた識別手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T20:48:41Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳(メタデータ) (2021-04-29T17:58:35Z) - Synthetic Glacier SAR Image Generation from Arbitrary Masks Using
Pix2Pix Algorithm [12.087729834358928]
教師あり機械学習は、適切なテスト結果を得るために大量のラベル付きデータを必要とする。
本研究では,Pix2pixアルゴリズムを用いて合成SAR画像を生成することにより,限られたトレーニングデータの問題を軽減することを提案する。
異なるモデルを示し,比較研究を行い,sar画像の説得力のある氷河を定性的・定量的に合成する手法を実証した。
論文 参考訳(メタデータ) (2021-01-08T23:30:00Z) - Pairwise Relation Learning for Semi-supervised Gland Segmentation [90.45303394358493]
病理組織像における腺分節に対するPRS2モデルを提案する。
このモデルはセグメンテーションネットワーク(S-Net)とペア関係ネットワーク(PR-Net)から構成される。
我々は,GlaSデータセットの最近の5つの手法とCRAGデータセットの最近の3つの手法を比較した。
論文 参考訳(メタデータ) (2020-08-06T15:02:38Z) - Edge Guided GANs with Contrastive Learning for Semantic Image Synthesis [194.1452124186117]
本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。
我々のECGANは最先端の手法よりもはるかに優れた結果が得られる。
論文 参考訳(メタデータ) (2020-03-31T01:23:21Z) - Image Embedded Segmentation: Uniting Supervised and Unsupervised
Objectives for Segmenting Histopathological Images [0.0]
本稿では,意味組織分割のための完全畳み込みネットワークを学習するための新しい正規化手法を提案する。
これは教師なし学習(イメージ再構成)の利点をネットワークトレーニングに頼っている。
我々の実験は、これらのデータセットのセグメンテーション結果が、データセットのセグメンテーション結果よりも優れていることを示した。
論文 参考訳(メタデータ) (2020-01-30T08:09:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。