論文の概要: Evaluation Metrics for Conditional Image Generation
- arxiv url: http://arxiv.org/abs/2004.12361v2
- Date: Mon, 8 Feb 2021 12:36:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 13:17:25.981764
- Title: Evaluation Metrics for Conditional Image Generation
- Title（参考訳）: 条件付き画像生成のための評価指標
- Authors: Yaniv Benny, Tomer Galanti, Sagie Benaim, Lior Wolf
- Abstract要約: クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
- 参考スコア（独自算出の注目度）: 100.69766435176557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present two new metrics for evaluating generative models in the
class-conditional image generation setting. These metrics are obtained by
generalizing the two most popular unconditional metrics: the Inception Score
(IS) and the Fre'chet Inception Distance (FID). A theoretical analysis shows
the motivation behind each proposed metric and links the novel metrics to their
unconditional counterparts. The link takes the form of a product in the case of
IS or an upper bound in the FID case. We provide an extensive empirical
evaluation, comparing the metrics to their unconditional variants and to other
metrics, and utilize them to analyze existing generative models, thus providing
additional insights about their performance, from unlearned classes to mode
collapse.
- Abstract（参考訳）: クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
これらの指標は、インセプションスコア(IS)とFre'chet Inception Distance(FID)の2つの最も一般的な非条件メトリクスを一般化することによって得られる。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
リンクはISの場合の積の形を取るか、FIDの場合の上限となる。
実験的な評価を行い、メトリクスを条件のない変種や他の指標と比較し、既存の生成モデルの解析に利用し、未学習のクラスからモード崩壊まで、それらのパフォーマンスに関するさらなる洞察を提供する。
関連論文リスト
- Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-18T12:36:23Z) - EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。
我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。
そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
論文 参考訳（メタデータ） (2023-10-17T17:50:46Z) - Unsupervised evaluation of GAN sample quality: Introducing the TTJac
Score [5.1359892878090845]
データフリーで個々の合成画像の忠実度を測定するために「TTJac score」を提案する。
FFHQ, AFHQ-Wild, LSUN-Cars, LSUN-Horseデータセット上でのStyleGAN 2およびStyleGAN 2 ADAモデルに適用した実験結果を示す。
論文 参考訳（メタデータ） (2023-08-31T19:55:50Z) - Challenges to Evaluating the Generalization of Coreference Resolution Models: A Measurement Modeling Perspective [69.50044040291847]
本稿では, マルチデータセット評価が, 正確に測定されている要因を混同するリスクについて述べる。
これにより、これらの評価からより一般化可能な結論を引き出すのが難しくなる。
論文 参考訳（メタデータ） (2023-03-16T05:32:02Z) - Feature Likelihood Divergence: Evaluating the Generalization of
Generative Models Using Samples [25.657798631897908]
Feature Likelihood Divergenceは、生成モデルの包括的なトリコトミック評価を提供する。
我々は,以前に提案された指標が失敗した場合でも,FLDが過度に適合する問題を識別できることを実証的に示す。
論文 参考訳（メタデータ） (2023-02-09T04:57:27Z) - SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。
文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。
この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
論文 参考訳（メタデータ） (2022-08-01T17:58:05Z) - A Study on the Evaluation of Generative Models [19.18642459565609]
潜在的生成モデルは、確率値を返さないが、近年は普及している。
本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。
FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
論文 参考訳（メタデータ） (2022-06-22T09:27:31Z) - A Unified Framework for Rank-based Evaluation Metrics for Link
Prediction in Knowledge Graphs [19.822126244784133]
負の負の3倍数を持たない知識グラフ上のリンク予測タスクは、ランクベースのメトリクスの使用を動機付けている。
本稿では,既存の測度を改善するための2つの方法について,代替アグリゲーション関数と確率論の概念を用いて検討する。
本稿では,知識グラフ埋め込みモデルのベンチマークにおいて,その使用例を示すとともに,より容易に解釈・比較できる新しいランクベースの指標を提案する。
論文 参考訳（メタデータ） (2022-03-14T23:09:46Z) - Bidimensional Leaderboards: Generate and Evaluate Language Hand in Hand [117.62186420147563]
リーダーボード, 二次元リーダーボード(ビルボード)の一般化を提案する。
従来の一次元のリーダーボードがシステムに所定の基準でソートするのとは異なり、ビルボードはジェネレータと評価指標の両方を競合するエントリとして受け入れる。
いくつかの異なるメトリクスの線形アンサンブルが、場合によっては既存のメトリクスを独立して大幅に上回っていることを実証する。
論文 参考訳（メタデータ） (2021-12-08T06:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。