論文の概要: Inverse Problems Leveraging Pre-trained Contrastive Representations
- arxiv url: http://arxiv.org/abs/2110.07439v1
- Date: Thu, 14 Oct 2021 15:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 19:38:03.970242
- Title: Inverse Problems Leveraging Pre-trained Contrastive Representations
- Title(参考訳): 事前学習されたコントラスト表現を用いた逆問題
- Authors: Sriram Ravula, Georgios Smyrnis, Matt Jordan, Alexandros G. Dimakis
- Abstract要約: 破損したデータの表現を復元するための新しい逆問題群について検討する。
コントラスト目的を用いた教師付きインバージョン手法を提案する。
提案手法は,幅広いフォワード演算子においてラベル付きデータのごく一部であっても,エンド・ツー・エンドのベースラインよりも優れる。
- 参考スコア(独自算出の注目度): 88.70821497369785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study a new family of inverse problems for recovering representations of
corrupted data. We assume access to a pre-trained representation learning
network R(x) that operates on clean images, like CLIP. The problem is to
recover the representation of an image R(x), if we are only given a corrupted
version A(x), for some known forward operator A. We propose a supervised
inversion method that uses a contrastive objective to obtain excellent
representations for highly corrupted images. Using a linear probe on our robust
representations, we achieve a higher accuracy than end-to-end supervised
baselines when classifying images with various types of distortions, including
blurring, additive noise, and random pixel masking. We evaluate on a subset of
ImageNet and observe that our method is robust to varying levels of distortion.
Our method outperforms end-to-end baselines even with a fraction of the labeled
data in a wide range of forward operators.
- Abstract(参考訳): 破損したデータの表現を復元するための新しい逆問題群について検討する。
我々は、CLIPのようなクリーンな画像で動作する事前訓練された表現学習ネットワークR(x)へのアクセスを想定している。
問題は、画像r(x) の表現を復元することであり、ある既知の前方演算子 a に対して破損したバージョン a(x) しか与えられていない場合である。
頑健な表現に対する線形プローブを用いて,画像のぼやけ,付加雑音,ランダムな画素マスキングなど,様々な歪みを伴う画像の分類において,エンドツーエンドの教師付きベースラインよりも高い精度を実現する。
我々はImageNetのサブセットについて評価し、この手法が様々な歪みに対して堅牢であることを確認する。
提案手法は,幅広いフォワード演算子においてラベル付きデータのごく一部であっても,エンド・ツー・エンドのベースラインよりも優れる。
関連論文リスト
- What can we learn about a generated image corrupting its latent
representation? [57.1841740328509]
GANのボトルネックにおける潜在表現に基づいて画像品質を予測できるという仮説を考察する。
遅延表現を雑音で破壊し、複数の出力を生成することでこれを実現できる。
論文 参考訳(メタデータ) (2022-10-12T14:40:32Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳(メタデータ) (2022-01-27T20:19:07Z) - All You Need is RAW: Defending Against Adversarial Attacks with Camera
Image Pipelines [31.043289921613933]
画像と画像のマッピングのためのモデルに依存しない対角防御法を提案する。
この方法は、入力されたRGB画像をベイアRAW空間にマッピングし、学習したカメラ画像信号処理パイプラインを用いて出力RGBにマッピングする。
その結果、余分な再トレーニングを伴わずに未確認タスクに一般化する。
論文 参考訳(メタデータ) (2021-12-16T21:54:26Z) - Robust Equivariant Imaging: a fully unsupervised framework for learning
to image from noisy and partial measurements [20.21997582090349]
本稿では,雑音による部分的計測だけで画像化を学べるロバスト同変イメージング(REI)フレームワークを提案する。
提案手法はStein's Unbiased Risk Estor (SURE) を用いて、ノイズに頑健な完全に教師なしのトレーニング損失を得る。
線形および非線形の逆問題に対してREIがかなりの性能向上をもたらすことを示し、それによってディープネットワークを用いた頑健な教師なしイメージングの道を開いた。
論文 参考訳(メタデータ) (2021-11-25T00:49:45Z) - Adaptive Clustering of Robust Semantic Representations for Adversarial
Image Purification [0.9203366434753543]
我々は、モデルに依存しず、目に見えない敵に対して汎用可能な、敵対攻撃に対する堅牢な防御を提案します。
本稿では,各クラスの潜在表現を抽出し,意味的類似性を持つ潜在表現を適応的にクラスタ化する。
我々は、逆空間表現と真のクラスタ分布の間の距離を最小化するために、潜空間表現を制限する新しいモデルを逆向きに訓練する。
論文 参考訳(メタデータ) (2021-04-05T21:07:04Z) - R-MNet: A Perceptual Adversarial Network for Image Inpainting [5.471225956329675]
本稿では,新たな逆マスク演算子であるReverse Masking Network(R-MNet)と組み合わせたWasserstein GANを提案する。
提案手法は,高分解能な塗装作業に一般化でき,人間の視覚系に適応可能なよりリアルな出力を示す。
論文 参考訳(メタデータ) (2020-08-11T10:58:10Z) - Understanding Adversarial Examples from the Mutual Influence of Images
and Perturbations [83.60161052867534]
クリーンな画像と敵の摂動を遠ざけることで敵の例を分析し,その相互への影響を分析した。
以上の結果から,画像と普遍摂動の関係に対する新たな視点が示唆された。
我々は、オリジナルトレーニングデータを活用することなく、目標とするユニバーサルアタックの挑戦的なタスクを最初に達成した人物です。
論文 参考訳(メタデータ) (2020-07-13T05:00:09Z) - Fully Unsupervised Diversity Denoising with Convolutional Variational
Autoencoders [81.30960319178725]
完全畳み込み変分オートエンコーダ(VAE)に基づく復調手法であるDivNoisingを提案する。
まず, 撮像ノイズモデルをデコーダに明示的に組み込むことにより, 教師なしの雑音発生問題をVAEフレームワーク内に定式化する手法を提案する。
このようなノイズモデルは、ノイズの多いデータから測定したり、ブートストラップしたり、トレーニング中に共同学習したりすることが可能である。
論文 参考訳(メタデータ) (2020-06-10T21:28:13Z) - Exploiting Deep Generative Prior for Versatile Image Restoration and
Manipulation [181.08127307338654]
本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。
深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
論文 参考訳(メタデータ) (2020-03-30T17:45:07Z) - Reducing the Representation Error of GAN Image Priors Using the Deep
Decoder [29.12824512060469]
本稿では,GANプリエントとディープデコーダの線形結合としてイメージをモデル化することにより,GANプリエントの表現誤差を低減する手法を提案する。
圧縮センシングと画像スーパーレゾリューションのために、我々のハイブリッドモデルは、GANプリエントとディープデコーダを別々に比較すると、PSNRが常に高い値を示す。
論文 参考訳(メタデータ) (2020-01-23T18:37:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。