論文の概要: Conditional Vendi Score: An Information-Theoretic Approach to Diversity Evaluation of Prompt-based Generative Models
- arxiv url: http://arxiv.org/abs/2411.02817v1
- Date: Tue, 05 Nov 2024 05:30:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 15:01:50.843945
- Title: Conditional Vendi Score: An Information-Theoretic Approach to Diversity Evaluation of Prompt-based Generative Models
- Title（参考訳）: Conditional Vendi Score: Prompt-based Generative Modelの多様性評価への情報理論的アプローチ
- Authors: Mohammad Jalali, Azim Ospanov, Amin Gohari, Farzan Farnia,
- Abstract要約: モデルの内部の多様性を定量化するために,$H(X|T)$に基づく条件付きVendiスコアを導入する。
テキスト条件付き生成モデルの条件-ベンダースコアと内部の多様性との相関を示すために,いくつかの数値実験を行った。
- 参考スコア（独自算出の注目度）: 15.40817940713399
- License:
- Abstract: Text-conditioned generation models are commonly evaluated based on the quality of the generated data and its alignment with the input text prompt. On the other hand, several applications of prompt-based generative models require sufficient diversity in the generated data to ensure the models' capability of generating image and video samples possessing a variety of features. However, most existing diversity metrics are designed for unconditional generative models, and thus cannot distinguish the diversity arising from variations in text prompts and that contributed by the generative model itself. In this work, our goal is to quantify the prompt-induced and model-induced diversity in samples generated by prompt-based models. We propose an information-theoretic approach for internal diversity quantification, where we decompose the kernel-based entropy $H(X)$ of the generated data $X$ into the sum of the conditional entropy $H(X|T)$, given text variable $T$, and the mutual information $I(X; T)$ between the text and data variables. We introduce the \emph{Conditional-Vendi} score based on $H(X|T)$ to quantify the internal diversity of the model and the \emph{Information-Vendi} score based on $I(X; T)$ to measure the statistical relevance between the generated data and text prompts. We provide theoretical results to statistically interpret these scores and relate them to the unconditional Vendi score. We conduct several numerical experiments to show the correlation between the Conditional-Vendi score and the internal diversity of text-conditioned generative models. The codebase is available at \href{https://github.com/mjalali/conditional-vendi}{https://github.com/mjalali/conditional-vendi}.
- Abstract（参考訳）: テキスト条件付き生成モデルは、生成されたデータの品質と入力されたテキストプロンプトとの整合性に基づいて、一般的に評価される。
一方、プロンプトベース生成モデルのいくつかの応用は、様々な特徴を持つ画像やビデオのサンプルを生成するモデルの能力を確実にするために、生成したデータに十分な多様性を必要とする。
しかし、既存の多様性指標のほとんどは無条件生成モデルのために設計されており、テキストプロンプトのバリエーションと生成モデル自体がもたらす多様性を区別することはできない。
本研究の目的は,プロンプトベースモデルにより生成されたサンプルの,プロンプト誘起およびモデル誘起の多様性を定量化することである。
本稿では、カーネルベースのエントロピー$H(X)$を条件付きエントロピー$H(X|T)$、与えられたテキスト変数$T$、テキスト変数とデータ変数間の相互情報$I(X; T)$の和に分解する。
モデルの内部の多様性を定量化するために$H(X|T)$に基づく \emph{Conditional-Vendi} スコアと$I(X; T)$に基づく \emph{Information-Vendi} スコアを導入し、生成されたデータとテキストプロンプト間の統計的関連性を測定する。
我々はこれらのスコアを統計的に解釈し、無条件のベンディスコアと関連付ける理論的結果を提供する。
テキスト条件付き生成モデルの条件-ベンダースコアと内部の多様性との相関を示すために,いくつかの数値実験を行った。
コードベースは \href{https://github.com/mjalali/conditional-vendi}{https://github.com/mjalali/conditional-vendi} で公開されている。
関連論文リスト
- GRADE: Quantifying Sample Diversity in Text-to-Image Models [66.12068246962762]
本稿では,サンプルの多様性を定量化する手法であるGRADE: Granular Attribute Diversity Evaluationを提案する。
400のコンセプト属性ペアを用いて12のT2Iモデルの全体的な多様性を測定し、すべてのモデルが限定的な変動を示すことを示した。
我々の研究は、サンプルの多様性を測定するための現代的で意味論的に駆動されたアプローチを提案し、T2Iモデルによる出力の驚くべき均一性を強調している。
論文 参考訳（メタデータ） (2024-10-29T23:10:28Z) - An Online Learning Approach to Prompt-based Selection of Generative Models [23.91197677628145]
様々な入力プロンプトに対する最良の生成モデルのオンライン識別は、サブ最適モデルのクエリに関連するコストを削減できる。
与えられた入力プロンプトに対して最適なデータ生成モデルを予測するためのオンライン学習フレームワークを提案する。
実画像と画像と画像の合成モデルを用いた実験により,RFF-UCBは最適な生成モデルを特定するのに成功していることが示された。
論文 参考訳（メタデータ） (2024-10-17T07:33:35Z) - An Interpretable Evaluation of Entropy-based Novelty of Generative Models [36.29214321258605]
生成モデルのモードベースノベルティを定量化するために,カーネルベースのエントロピーノベルティ(KEN)スコアを提案する。
合成および実画像データセットの数値計算結果から,新しいモードの検出におけるフレームワークの有効性を示す。
論文 参考訳（メタデータ） (2024-02-27T08:00:52Z) - JPAVE: A Generation and Classification-based Model for Joint Product
Attribute Prediction and Value Extraction [59.94977231327573]
JPAVEと呼ばれる値生成/分類と属性予測を備えたマルチタスク学習モデルを提案する。
我々のモデルの2つの変種は、オープンワールドとクローズドワールドのシナリオのために設計されている。
公開データセットにおける実験結果は,強いベースラインと比較して,我々のモデルが優れていることを示す。
論文 参考訳（メタデータ） (2023-11-07T18:36:16Z) - Large Language Model as Attributed Training Data Generator: A Tale of
Diversity and Bias [92.41919689753051]
大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)タスクのためのトレーニングデータジェネレータとして活用されている。
本稿では,多様な属性を持つプロンプトを用いたトレーニングデータ生成について検討する。
属性付きプロンプトは、結果のモデルの性能の観点から、単純なクラス条件プロンプトより優れていることを示す。
論文 参考訳（メタデータ） (2023-06-28T03:31:31Z) - Distribution Aware Metrics for Conditional Natural Language Generation [3.6350564275444173]
既存のメトリクスは、視覚的記述や、基底真理が意味論的に多様であるような要約のような領域には適さないと論じる。
条件付き言語生成モデルのマルチ候補評価のための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-15T17:58:13Z) - Generating Diverse Descriptions from Semantic Graphs [38.28044884015192]
アンデコーダモデルに潜在変数を組み込んだグラフ・トゥ・テキストモデルとそのアンサンブルでの使用について述べる。
我々は,様々な文の集合を生成するモデル群を,最先端のモデルに類似した品質を維持しながら示す。
我々は、WebNLGのデータセットを英語とロシア語で評価し、様々な文の集合を生成するモデルの集合を示すとともに、最先端のモデルに類似した品質を維持している。
論文 参考訳（メタデータ） (2021-08-12T11:00:09Z) - On the Generative Utility of Cyclic Conditionals [103.1624347008042]
2つの条件付きモデル$p(x|z)$を用いて、共同分布$p(x,z)$をモデル化できるかどうか、また、どのようにしてサイクルを形成するかを検討する。
本稿では,周期条件生成モデリングのためのCyGenフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-30T10:23:45Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳（メタデータ） (2021-02-17T18:25:30Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳（メタデータ） (2020-02-17T20:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。