論文の概要: Generative Models as a Data Source for Multiview Representation Learning

• arxiv url: http://arxiv.org/abs/2106.05258v1
• Date: Wed, 9 Jun 2021 17:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 16:36:47.450017
• Title: Generative Models as a Data Source for Multiview Representation Learning
• Title（参考訳）: 多視点表現学習のためのデータソースとしての生成モデル
• Authors: Ali Jahanian, Xavier Puig, Yonglong Tian, Phillip Isola
• Abstract要約: 生成モデルは、訓練されたデータとほとんど区別できないリアルなイメージを生成することができる。 十分な生成モデルがあれば、まだデータセットが必要なのでしょうか? ブラックボックス生成モデルから汎用的な視覚表現を学習する際の課題について検討する。
• 参考スコア（独自算出の注目度）: 38.56447220165002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models are now capable of producing highly realistic images that look nearly indistinguishable from the data on which they are trained. This raises the question: if we have good enough generative models, do we still need datasets? We investigate this question in the setting of learning general-purpose visual representations from a black-box generative model rather than directly from data. Given an off-the-shelf image generator without any access to its training data, we train representations from the samples output by this generator. We compare several representation learning methods that can be applied to this setting, using the latent space of the generator to generate multiple "views" of the same semantic content. We show that for contrastive methods, this multiview data can naturally be used to identify positive pairs (nearby in latent space) and negative pairs (far apart in latent space). We find that the resulting representations rival those learned directly from real data, but that good performance requires care in the sampling strategy applied and the training method. Generative models can be viewed as a compressed and organized copy of a dataset, and we envision a future where more and more "model zoos" proliferate while datasets become increasingly unwieldy, missing, or private. This paper suggests several techniques for dealing with visual representation learning in such a future. Code is released on our project page: https://ali-design.github.io/GenRep/
• Abstract（参考訳）: 生成モデルは、訓練されたデータとほとんど区別がつかないような、非常にリアルな画像を生成することができる。 十分な生成モデルがあれば、まだデータセットが必要なのでしょうか? 本研究では,データから直接ではなく,ブラックボックス生成モデルから汎用視覚表現を学習する。 トレーニングデータにアクセスできないオフザシェルフイメージジェネレータが与えられた場合、このジェネレータによって出力されるサンプルから表現をトレーニングする。 この設定に適用可能な表現学習手法をいくつか比較し,同じ意味コンテンツの複数の「ビュー」を生成するために,ジェネレータの潜在空間を用いる。 対照的な手法では、このマルチビューデータは自然に正のペア(潜時空間に近く)と負のペア(潜時空間に遠く離れている)を識別することができる。 得られた表現は実データから直接学習した表現に匹敵するが、優れた性能は適用されたサンプリング戦略と訓練方法に注意を要する。 生成モデルはデータセットの圧縮された組織化されたコピーと見なすことができ、より多くの"モデル動物園"が増殖し、データセットがますます扱いにくくなり、欠落し、あるいはプライベートになる未来を想像する。 本稿では,このような未来において視覚表現学習を扱うためのいくつかの手法を提案する。 コードはプロジェクトのページでリリースされています。

関連論文リスト

• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• Ref-Diff: Zero-shot Referring Image Segmentation with Generative Models [68.73086826874733]
  本稿では,画像分割を参照するための新しい参照拡散分割器(Referring Diffusional segmentor, Ref-Diff)を提案する。 提案生成器がなければ、生成モデルだけで既存のSOTAの弱教師付きモデルに匹敵する性能を達成できることを実証する。 このことは、生成モデルがこのタスクに有益であり、より優れたセグメンテーションを参照するために識別モデルを補完できることを示している。
  論文  参考訳（メタデータ） (2023-08-31T14:55:30Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• KNN-Diffusion: Image Generation via Large-Scale Retrieval [40.6656651653888]
  適応する学習は、いくつかの新しい機能を可能にします。 微調整の訓練されたモデルと新しいサンプルは、単にテーブルに追加するだけで実現できる。 我々の拡散モデルでは、共同のテキスト・イメージ・マルチモーダル・メトリックを利用することで、画像のみを訓練する。
  論文  参考訳（メタデータ） (2022-04-06T14:13:35Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• Visualising Deep Network's Time-Series Representations [93.73198973454944]
  機械学習モデルの普及にもかかわらず、多くの場合、モデルの内部で起きていることに関する洞察のないブラックボックスとして運用される。 本稿では,多次元時系列データの可視化に着目し,この問題に対処する手法を提案する。 高周波在庫市場データセットの実験は、この方法が迅速かつ識別可能な可視化を提供することを示しています。
  論文  参考訳（メタデータ） (2021-03-12T09:53:34Z)
• Learning High-Resolution Domain-Specific Representations with a GAN Generator [5.8720142291102135]
  本稿では,GANジェネレータが学習した表現を,軽量デコーダを用いてセマンティックセグメンテーションマップに簡単に投影できることを示す。 本稿では、教師なしドメイン固有の事前学習に使用できるGANジェネレータの表現を近似するLayerMatch方式を提案する。 また,LayerMatch-pretrained backboneの使用は,ImageNetの標準教師付き事前トレーニングよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2020-06-18T11:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。