論文の概要: What can we learn about a generated image corrupting its latent
representation?
- arxiv url: http://arxiv.org/abs/2210.06257v1
- Date: Wed, 12 Oct 2022 14:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 13:43:44.854824
- Title: What can we learn about a generated image corrupting its latent
representation?
- Title(参考訳): 生成した画像がその潜在表現を損なうことについて何を学ぶことができるのか?
- Authors: Agnieszka Tomczak, Aarushi Gupta, Slobodan Ilic, Nassir Navab, Shadi
Albarqouni
- Abstract要約: GANのボトルネックにおける潜在表現に基づいて画像品質を予測できるという仮説を考察する。
遅延表現を雑音で破壊し、複数の出力を生成することでこれを実現できる。
- 参考スコア(独自算出の注目度): 57.1841740328509
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative adversarial networks (GANs) offer an effective solution to the
image-to-image translation problem, thereby allowing for new possibilities in
medical imaging. They can translate images from one imaging modality to another
at a low cost. For unpaired datasets, they rely mostly on cycle loss. Despite
its effectiveness in learning the underlying data distribution, it can lead to
a discrepancy between input and output data. The purpose of this work is to
investigate the hypothesis that we can predict image quality based on its
latent representation in the GANs bottleneck. We achieve this by corrupting the
latent representation with noise and generating multiple outputs. The degree of
differences between them is interpreted as the strength of the representation:
the more robust the latent representation, the fewer changes in the output
image the corruption causes. Our results demonstrate that our proposed method
has the ability to i) predict uncertain parts of synthesized images, and ii)
identify samples that may not be reliable for downstream tasks, e.g., liver
segmentation task.
- Abstract(参考訳): GAN(Generative Adversarial Network)は、画像間翻訳問題に対する効果的な解決策を提供し、医用画像の新しい可能性を実現する。
ある画像モードから別の画像に、低コストで変換できる。
障害のないデータセットの場合、ほとんどサイクル損失に依存します。
基礎となるデータ分布を学習する効果があるにもかかわらず、入力データと出力データの相違につながる可能性がある。
本研究の目的は,GANsボトルネックの潜在表現に基づいて画像品質を予測できるという仮説を検討することである。
我々は、潜在表現をノイズで破壊し、複数の出力を生成することでこれを達成する。
両者の違いの度合いは表現の強さとして解釈される: 潜在表現が頑丈になればなるほど、腐敗の原因となる出力画像の変化が少なくなる。
以上より,提案手法が有効であることを示す。
一 合成画像の不確かさ部分の予測、及び
二 下流タスク、例えば肝分節タスクに信頼性がない可能性のあるサンプルを特定すること。
関連論文リスト
- Data Attribution for Text-to-Image Models by Unlearning Synthesized Images [71.23012718682634]
テキスト・ツー・イメージ・モデルにおけるデータ帰属の目標は、新しい画像の生成に最も影響を与えるトレーニング画像を特定することである。
本稿では,高能率画像の同定を効果的に行う新しい手法を提案する。
論文 参考訳(メタデータ) (2024-06-13T17:59:44Z) - Bridging the Gap between Synthetic and Authentic Images for Multimodal
Machine Translation [51.37092275604371]
マルチモーダル機械翻訳(MMT)は、ソース文と関連する画像を同時に翻訳の入力とする。
近年の研究では、画像入力のための強力なテキスト・画像生成モデルが提案されている。
しかし、これらのモデルによって生成された合成画像は、実際の画像と比較して異なる分布を辿ることが多い。
論文 参考訳(メタデータ) (2023-10-20T09:06:30Z) - Chili Pepper Disease Diagnosis via Image Reconstruction Using GrabCut
and Generative Adversarial Serial Autoencoder [0.0]
疾患診断は異常検出の分野に属し、植物または果実が正常であるか異常であるかを識別することを目的としている。
画像生成性能の限界により、SOTAの手法は潜在ベクトル誤差を用いたスコア計算法を提案する。
本稿では,GAN構造を用いて有意義な画像を生成する手法を提案し,その3つの結果を1つの判別器で同時に分類する。
論文 参考訳(メタデータ) (2023-06-21T06:58:46Z) - Retinal Image Restoration using Transformer and Cycle-Consistent
Generative Adversarial Network [0.7868449549351486]
医療画像は様々な疾患の検出と治療に重要な役割を果たしている。
視覚変換器と畳み込みニューラルネットワークを用いた網膜画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-03-03T14:10:47Z) - DEff-GAN: Diverse Attribute Transfer for Few-Shot Image Synthesis [0.38073142980733]
我々は、サンプル合成のための複数の画像をモデル化するために、単一画像GAN法を拡張した。
我々のデータ効率GAN(DEff-GAN)は、入力画像やクラス間で類似性や対応性を引き出すことができる場合に優れた結果をもたらす。
論文 参考訳(メタデータ) (2023-02-28T12:43:52Z) - Causal Transportability for Visual Recognition [70.13627281087325]
画像とラベルの関連性は、設定間では転送できないため、標準分類器がフェールすることを示す。
次に、すべての共起源を摂食する因果効果が、ドメイン間で不変であることを示す。
これにより、画像分類における因果効果を推定するアルゴリズムを開発する動機付けとなる。
論文 参考訳(メタデータ) (2022-04-26T15:02:11Z) - Inverse Problems Leveraging Pre-trained Contrastive Representations [88.70821497369785]
破損したデータの表現を復元するための新しい逆問題群について検討する。
コントラスト目的を用いた教師付きインバージョン手法を提案する。
提案手法は,幅広いフォワード演算子においてラベル付きデータのごく一部であっても,エンド・ツー・エンドのベースラインよりも優れる。
論文 参考訳(メタデータ) (2021-10-14T15:06:30Z) - USIS: Unsupervised Semantic Image Synthesis [9.613134538472801]
セマンティック画像合成(USIS)のための新しい教師なしパラダイムを提案する。
USISは、自己教師付きセグメンテーションロスを使用して、視覚的に分離可能なセグメンテーションクラスで画像を出力することを学ぶ。
実画像の色とテクスチャの分布を高周波数情報を失うことなく一致させるため,ウェーブレットを用いた識別手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T20:48:41Z) - Adversarial Semantic Data Augmentation for Human Pose Estimation [96.75411357541438]
本研究では,セマンティックデータ拡張法 (SDA) を提案する。
また,適応的セマンティックデータ拡張 (ASDA) を提案する。
最先端の結果は、挑戦的なベンチマークで得られます。
論文 参考訳(メタデータ) (2020-08-03T07:56:04Z) - ContraGAN: Contrastive Learning for Conditional Image Generation [14.077997868828177]
コンディショナル・ジェネレーティブ・アドバイサル・ネットワーク(GAN)は,クラスラベル情報を用いて多様な画像を生成する。
本稿では,複数の画像埋め込み(データ間関係)とデータ間関係(データ間関係)の関係を条件付きコントラッシブロスを用いて検討するContraGANを提案する。
実験の結果、ContraGANは、Tiny ImageNetとImageNetデータセットでそれぞれ7.3%と7.7%の最先端モデルを上回っている。
論文 参考訳(メタデータ) (2020-06-23T00:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。