論文の概要: Phased data augmentation for training PixelCNNs with VQ-VAE-2 and limited data

• arxiv url: http://arxiv.org/abs/2305.12681v1
• Date: Mon, 22 May 2023 03:38:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 18:35:32.862536
• Title: Phased data augmentation for training PixelCNNs with VQ-VAE-2 and limited data
• Title（参考訳）: vq-vae-2と限定データを用いたpixelcnns訓練のための位相データ拡張
• Authors: Yuta Mimura
• Abstract要約: そこで本研究では,PC-VQ2をスクラッチから限られたデータで学習するためのトレーニング戦略を提案する。 この戦略により、限られたデータを持つモデルでは、多様性に十分なデータを持つモデルと競合する画像を生成し、忠実さで性能を向上することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With development of deep learning, researchers have developed generative models in generating realistic images. One of such generative models, a PixelCNNs model with Vector Quantized Variational AutoEncoder 2 (VQ-VAE-2), can generate more various images than other models. However, a PixelCNNs model with VQ-VAE-2, I call it PC-VQ2, requires sufficiently much training data like other deep learning models. Its practical applications are often limited in domains where collecting sufficient data is not difficult. To solve the problem, researchers have recently proposed more data-efficient methods for training generative models with limited unlabeled data from scratch. However, no such methods in PC-VQ2s have been researched. This study provides the first step in this direction, considering generation of images using PC-VQ2s and limited unlabeled data. In this study, I propose a training strategy for training a PC-VQ2 with limited data from scratch, phased data augmentation. In the strategy, ranges of parameters of data augmentation is narrowed in phases through learning. Quantitative evaluation shows that the phased data augmentation enables the model with limited data to generate images competitive with the one with sufficient data in diversity and outperforming it in fidelity. The evaluation suggests that the proposed method should be useful for training a PC-VQ2 with limited data efficiently to generate various and natural images.
• Abstract（参考訳）: ディープラーニングの発展に伴い、研究者は現実的な画像を生成するための生成モデルを開発した。 そのような生成モデルの1つ、ベクトル量子化された変分オートエンコーダ2(vq-vae-2)を持つpixelcnnsモデルは、他のモデルよりも多様な画像を生成することができる。 しかし、VQ-VAE-2を備えたPixelCNNsモデルは、PC-VQ2と呼ばれ、他のディープラーニングモデルのような十分なトレーニングデータを必要とする。 その実用的応用は、十分なデータを集めることが難しくない領域でしばしば制限される。 この問題を解決するために、研究者たちは、ラベルなしデータをスクラッチから制限した生成モデルのトレーニングのための、よりデータ効率のよい方法を提案している。 しかし、PC-VQ2ではそのような手法は研究されていない。 本研究は,PC-VQ2と制限付き未ラベルデータを用いた画像生成を考慮し,この方向への第一歩を提供する。 本研究では,PC-VQ2をスクラッチから限られたデータで学習するための学習戦略を提案する。 この戦略では、データ拡張のパラメータの範囲は学習を通じて段階的に狭められる。 定量的評価により、位相データ拡張により、限られたデータを持つモデルが、多様性に十分なデータを持つモデルと競合する画像を生成し、忠実さで性能を向上できることが示された。 評価の結果,提案手法は,限られたデータを用いたPC-VQ2の訓練に有用であることが示唆された。

関連論文リスト

• A Simple Background Augmentation Method for Object Detection with Diffusion Model [53.32935683257045]
  コンピュータビジョンでは、データの多様性の欠如がモデル性能を損なうことはよく知られている。 本稿では, 生成モデルの進歩を生かして, 単純かつ効果的なデータ拡張手法を提案する。 背景強化は、特にモデルの堅牢性と一般化能力を大幅に改善する。
  論文  参考訳（メタデータ） (2024-08-01T07:40:00Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Data Augmentation for Multivariate Time Series Classification: An Experimental Study [1.5390962520179197]
  これらのデータセットのサイズは限られていますが、RocketとInceptionTimeモデルを使用して、13のデータセットのうち10の分類精度を向上しました。 これは、コンピュータビジョンで見られる進歩と並行して、効果的なモデルを訓練する上で、十分なデータの重要性を強調している。
  論文  参考訳（メタデータ） (2024-06-10T17:58:02Z)
• Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
  本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。 DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2024-03-11T14:07:53Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Data-Centric Long-Tailed Image Recognition [49.90107582624604]
  ロングテールモデルは高品質なデータに対する強い需要を示している。 データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。 現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
  論文  参考訳（メタデータ） (2023-11-03T06:34:37Z)
• Phoenix: A Federated Generative Diffusion Model [6.09170287691728]
  大規模な集中型データセットで生成モデルをトレーニングすることで、データのプライバシやセキュリティ、アクセシビリティといった面での課題が発生する可能性がある。 本稿では,フェデレートラーニング(FL)技術を用いて,複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T01:43:09Z)
• Instance-Conditioned GAN Data Augmentation for Representation Learning [29.36473147430433]
  DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。 DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。 また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-16T22:45:43Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。