論文の概要: Towards a Scalable Reference-Free Evaluation of Generative Models

• arxiv url: http://arxiv.org/abs/2407.02961v1
• Date: Wed, 3 Jul 2024 09:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:55:24.554202
• Title: Towards a Scalable Reference-Free Evaluation of Generative Models
• Title（参考訳）: 拡張性のある参照フリーな生成モデル評価に向けて
• Authors: Azim Ospanov, Jingwei Zhang, Mohammad Jalali, Xuenan Cao, Andrej Bogdanov, Farzan Farnia,
• Abstract要約: 本稿では、VENDIとRKEのエントロピースコアを推定するためのカーネルエントロピー近似(FKEA)法を提案する。 我々は、FKEAの数値性能を、標準画像、テキスト、ビデオデータセットに適用して広範囲に評価する。 実験結果から,大規模生成モデルに適用する手法のスケーラビリティと解釈可能性を示す。
• 参考スコア（独自算出の注目度）: 9.322073391374039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While standard evaluation scores for generative models are mostly reference-based, a reference-dependent assessment of generative models could be generally difficult due to the unavailability of applicable reference datasets. Recently, the reference-free entropy scores, VENDI and RKE, have been proposed to evaluate the diversity of generated data. However, estimating these scores from data leads to significant computational costs for large-scale generative models. In this work, we leverage the random Fourier features framework to reduce the computational price and propose the Fourier-based Kernel Entropy Approximation (FKEA) method. We utilize FKEA's approximated eigenspectrum of the kernel matrix to efficiently estimate the mentioned entropy scores. Furthermore, we show the application of FKEA's proxy eigenvectors to reveal the method's identified modes in evaluating the diversity of produced samples. We provide a stochastic implementation of the FKEA assessment algorithm with a complexity $O(n)$ linearly growing with sample size $n$. We extensively evaluate FKEA's numerical performance in application to standard image, text, and video datasets. Our empirical results indicate the method's scalability and interpretability applied to large-scale generative models. The codebase is available at https://github.com/aziksh-ospanov/FKEA.
• Abstract（参考訳）: 生成モデルの標準評価スコアは、主に参照ベースであるが、適用可能な参照データセットが利用できないため、生成モデルの参照依存評価は一般的に困難である。 近年, 基準自由エントロピースコアであるVENDIとRKEが, 生成データの多様性を評価するために提案されている。 しかし、これらのスコアをデータから推定すると、大規模生成モデルにおいてかなりの計算コストがかかる。 本研究では、ランダムなフーリエ特徴量フレームワークを利用して計算コストを削減し、フーリエに基づくカーネルエントロピー近似(FKEA)法を提案する。 我々は、FKEAのカーネル行列の近似固有スペクトルを用いて、上述のエントロピースコアを効率的に推定する。 さらに、FKEAのプロキシ固有ベクトルを用いて、生成したサンプルの多様性を評価する方法の特定モードを明らかにする。 我々は,FKEAアセスメントアルゴリズムの確率的実装を複雑度$O(n)$で,サンプルサイズ$n$で線形に成長させる。 我々は、FKEAの数値性能を、標準画像、テキスト、ビデオデータセットに適用して広範囲に評価する。 実験結果から,大規模生成モデルに適用する手法のスケーラビリティと解釈可能性を示す。 コードベースはhttps://github.com/aziksh-ospanov/FKEAで公開されている。

関連論文リスト

• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• An Interpretable Evaluation of Entropy-based Novelty of Generative Models [36.29214321258605]
  生成モデルのモードベースノベルティを定量化するために,カーネルベースのエントロピーノベルティ(KEN)スコアを提案する。 合成および実画像データセットの数値計算結果から,新しいモードの検出におけるフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-27T08:00:52Z)
• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Robust leave-one-out cross-validation for high-dimensional Bayesian models [0.0]
  レリーブ・ワン・アウト・クロスバリデーション (LOO-CV) は、アウト・オブ・サンプル予測精度を推定するための一般的な手法である。 そこで本研究では,LOO-CV基準を計算するための新しい混合推定器を提案し,解析する。 提案手法は古典的手法の単純さと計算的利便性を保ちながら, 得られた推定値の有限分散を保証している。
  論文  参考訳（メタデータ） (2022-09-19T17:14:52Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Variational Inference with NoFAS: Normalizing Flow with Adaptive Surrogate for Computationally Expensive Models [7.217783736464403]
  マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。 変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。 本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
  論文  参考訳（メタデータ） (2021-08-28T14:31:45Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。