論文の概要: Regularizing Neural Networks with Meta-Learning Generative Models

• arxiv url: http://arxiv.org/abs/2307.13899v2
• Date: Mon, 23 Oct 2023 13:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 08:12:06.781635
• Title: Regularizing Neural Networks with Meta-Learning Generative Models
• Title（参考訳）: メタ学習生成モデルによるニューラルネットワークの正規化
• Authors: Shin'ya Yamaguchi, Daiki Chijiwa, Sekitoshi Kanai, Atsutoshi Kumagai, Hisashi Kashima
• Abstract要約: メタ生成正則化(Meta Generative regularization, MGR)と呼ばれる新しい生成データ拡張戦略を提案する。 MGRは、例えばクロスエントロピーのような損失関数の代わりに、特徴抽出器の正則化項で合成サンプルを利用する。 6つのデータセットの実験では、MGRは特にデータセットが小さく、安定してベースラインを上回っている場合に有効であることが示された。
• 参考スコア（独自算出の注目度）: 40.45689466486025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates methods for improving generative data augmentation for deep learning. Generative data augmentation leverages the synthetic samples produced by generative models as an additional dataset for classification with small dataset settings. A key challenge of generative data augmentation is that the synthetic data contain uninformative samples that degrade accuracy. This is because the synthetic samples do not perfectly represent class categories in real data and uniform sampling does not necessarily provide useful samples for tasks. In this paper, we present a novel strategy for generative data augmentation called meta generative regularization (MGR). To avoid the degradation of generative data augmentation, MGR utilizes synthetic samples in the regularization term for feature extractors instead of in the loss function, e.g., cross-entropy. These synthetic samples are dynamically determined to minimize the validation losses through meta-learning. We observed that MGR can avoid the performance degradation of na\"ive generative data augmentation and boost the baselines. Experiments on six datasets showed that MGR is effective particularly when datasets are smaller and stably outperforms baselines.
• Abstract（参考訳）: 本稿では,深層学習のための生成データ向上手法について検討する。 生成データ拡張は、生成モデルによって生成された合成サンプルを、小さなデータセット設定で分類するための追加データセットとして活用する。 生成データ拡張の重要な課題は、合成データが精度を低下させる非変換サンプルを含むことである。 これは、合成サンプルが実際のデータのクラスカテゴリを完全に表現しておらず、一様サンプリングが必ずしもタスクに有用なサンプルを提供していないためである。 本稿では,メタ生成正則化(Meta Generative regularization, MGR)と呼ばれる新しい生成データ拡張戦略を提案する。 生成データ拡張の劣化を避けるため、mgrは損失関数(例えばクロスエントロピー)ではなく、特徴抽出器の正規化用語で合成サンプルを利用する。 これらの合成サンプルはメタラーニングによる検証損失を最小限に抑えるために動的に決定される。 我々は,MGRが生合成データ強化の性能劣化を回避し,ベースラインを向上できることを示した。 6つのデータセットに関する実験は、特にデータセットがベースラインよりも小さく安定的に優れている場合にmgrが有効であることを示した。

関連論文リスト

• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• GANsemble for Small and Imbalanced Data Sets: A Baseline for Synthetic Microplastics Data [2.307414552248669]
  本稿では,データ拡張と条件付き生成逆数ネットワーク(cGAN)を接続し,クラス条件付き合成データを生成するフレームワークであるGANsembleを提案する。 我々の知る限り、この研究は、人工的にマイクロプラスチックデータを作成するための生成AIの最初の応用である。
  論文  参考訳（メタデータ） (2024-04-10T21:23:13Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
  ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。 この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。 本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
  論文  参考訳（メタデータ） (2023-04-29T00:25:02Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• DATGAN: Integrating expert knowledge into deep learning for synthetic tabular data [0.0]
  合成データは、バイアスデータセットの修正や、シミュレーション目的の不足したオリジナルデータの置換など、さまざまなアプリケーションで使用することができる。 ディープラーニングモデルはデータ駆動であり、生成プロセスを制御するのは難しい。 本稿では、これらの制限に対処するため、DATGAN(Directed Acyclic Tabular GAN)を提案する。
  論文  参考訳（メタデータ） (2022-03-07T16:09:03Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。