論文の概要: Toward a Generalization Metric for Deep Generative Models

• arxiv url: http://arxiv.org/abs/2011.00754v3
• Date: Mon, 24 May 2021 12:36:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 12:32:17.719408
• Title: Toward a Generalization Metric for Deep Generative Models
• Title（参考訳）: 深部生成モデルの一般化計量に向けて
• Authors: Hoang Thanh-Tung, Truyen Tran
• Abstract要約: 深部生成モデル(DGM)の一般化能力の測定は困難である。 評価指標の堅牢性を比較するためのフレームワークを提案する。 我々はジェネレーション潜在変数モデル(GLVM)の複雑さを推定する効率的な方法を開発した。
• 参考スコア（独自算出の注目度）: 18.941388632914666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring the generalization capacity of Deep Generative Models (DGMs) is difficult because of the curse of dimensionality. Evaluation metrics for DGMs such as Inception Score, Fr\'echet Inception Distance, Precision-Recall, and Neural Net Divergence try to estimate the distance between the generated distribution and the target distribution using a polynomial number of samples. These metrics are the target of researchers when designing new models. Despite the claims, it is still unclear how well can they measure the generalization capacity of a generative model. In this paper, we investigate the capacity of these metrics in measuring the generalization capacity. We introduce a framework for comparing the robustness of evaluation metrics. We show that better scores in these metrics do not imply better generalization. They can be fooled easily by a generator that memorizes a small subset of the training set. We propose a fix to the NND metric to make it more robust to noise in the generated data. Toward building a robust metric for generalization, we propose to apply the Minimum Description Length principle to the problem of evaluating DGMs. We develop an efficient method for estimating the complexity of Generative Latent Variable Models (GLVMs). Experimental results show that our metric can effectively detect training set memorization and distinguish GLVMs of different generalization capacities. Source code is available at https://github.com/htt210/GeneralizationMetricGAN.
• Abstract（参考訳）: 深部生成モデル(dgms)の一般化能力の測定は次元の呪いのため困難である。 Inception Score、Fr'echet Inception Distance、Precision-Recall、Neural Net DivergenceといったDGMの評価指標は、生成した分布とターゲット分布の距離を多項式数を用いて推定しようとする。 これらのメトリクスは、新しいモデルを設計する研究者のターゲットです。 これらの主張にもかかわらず、生成モデルの一般化能力をどのように測定できるかはまだ不明である。 本稿では,これらの指標の一般化能力の測定能力について検討する。 評価指標の堅牢性を比較するためのフレームワークを提案する。 これらの指標のより良いスコアは、より優れた一般化を意味するものではないことを示す。 それらは、トレーニングセットの小さなサブセットを記憶するジェネレータによって簡単に騙される。 我々は,生成データのノイズに対してよりロバストにするために,nndメトリックの修正を提案する。 一般化のためのロバストな計量の構築に向けて,DGMの評価問題に最小記述長の原理を適用することを提案する。 生成的潜在変数モデル(glvms)の複雑性を効率的に推定する手法を開発した。 実験結果から, トレーニングセットの記憶を効果的に検出し, 一般化能力の異なるGLVMを識別できることが示唆された。 ソースコードはhttps://github.com/htt210/GeneralizationMetricGANで入手できる。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Forgetting Curve: A Reliable Method for Evaluating Memorization Capability for Long-context Models [58.6172667880028]
  長文モデルの暗記能力を測定するために,左折曲線と呼ばれる新しい手法を提案する。 テストコーパスと実験環境に頑健であることの利点を, 忘れる曲線は有益であることを示す。 本測定は,RNN/SSMモデルの有効性を疑問視しながら,トランスフォーマー拡張手法の有効性を示す実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-07T03:38:27Z)
• Understanding Deep Generative Models with Generalized Empirical Likelihoods [3.7978679293562587]
  そこで本研究では,最大平均離散性と一般化経験的類似性(Generalized Empirical Likelihood)の技術を組み合わせて,サンプルごとの解釈可能性を維持する分布テストを作成する方法について述べる。 このようなテストでは、精度/リコールの改善などの指標よりも、モード低下やモード不均衡の度合いが最大60%向上していることが判明した。
  論文  参考訳（メタデータ） (2023-06-16T11:33:47Z)
• Feature Likelihood Divergence: Evaluating the Generalization of Generative Models Using Samples [25.657798631897908]
  Feature Likelihood Divergenceは、生成モデルの包括的なトリコトミック評価を提供する。 我々は,以前に提案された指標が失敗した場合でも,FLDが過度に適合する問題を識別できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-02-09T04:57:27Z)
• A Study on the Evaluation of Generative Models [19.18642459565609]
  潜在的生成モデルは、確率値を返さないが、近年は普及している。 本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。 FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
  論文  参考訳（メタデータ） (2022-06-22T09:27:31Z)
• Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data [66.11139091362078]
  本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。 ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
  論文  参考訳（メタデータ） (2022-02-06T20:07:35Z)
• On Evaluation Metrics for Graph Generative Models [17.594098458581694]
  既存のグラフ生成モデル(GGM)とニューラル・ネットワーク・ベースのメトリクスを用いてGGMを評価する。 学習せずに有意なグラフ表現を抽出するために,特定のグラフニューラルネットワーク(GNN)の力に触発され,未学習のランダムGNNによって抽出された特徴に基づくいくつかの指標を導入する。
  論文  参考訳（メタデータ） (2022-01-24T18:49:27Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Towards GAN Benchmarks Which Require Generalization [48.075521136623564]
  関数を推定するにはモデルからの大きなサンプルが必要であると我々は主張する。 我々は、分布を区別するために訓練されたニューラルネットワークの用語で定義されるニューラルネットワーク分散(NND)に目を向ける。 結果として得られたベンチマークは、トレーニングセットの記憶によって"ウォン"することはできないが、それでも知覚的に相関があり、サンプルからのみ計算可能である。
  論文  参考訳（メタデータ） (2020-01-10T20:18:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。