論文の概要: Do Vendi Scores Converge with Finite Samples? Truncated Vendi Score for Finite-Sample Convergence Guarantees

• arxiv url: http://arxiv.org/abs/2410.21719v3
• Date: Tue, 24 Jun 2025 07:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 15:36:07.722954
• Title: Do Vendi Scores Converge with Finite Samples? Truncated Vendi Score for Finite-Sample Convergence Guarantees
• Title（参考訳）: ベンディ・スコアはファイナント・サンプルに収束するか-ファイナント・サンプル・コンバージェンス保証者向け
• Authors: Azim Ospanov, Farzan Farnia,
• Abstract要約: 制限標本サイズ下でのベンディ値とRKE値の収束について検討した。 カーネル行列の固有スペクトルをトラッピングすることにより、$t$-truncated Vendiスコアを導入する。 ベンディスコアとは対照的に、RKEスコアがすべてのカーネル関数の普遍収束保証を享受していることを証明する。
• 参考スコア（独自算出の注目度）: 9.054540533394926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the diversity of generative models without reference data poses methodological challenges. The reference-free Vendi and RKE scores address this by quantifying the diversity of generated data using matrix-based entropy measures. Among these two, the Vendi score is typically computed via the eigendecomposition of an $n \times n$ kernel matrix constructed from n generated samples. However, the prohibitive computational cost of eigendecomposition for large $n$ often limits the number of samples used to fewer than 20,000. In this paper, we investigate the statistical convergence of the Vendi and RKE scores under restricted sample sizes. We numerically demonstrate that, in general, the Vendi score computed with standard sample sizes below 20,000 may not converge to its asymptotic value under infinite sampling. To address this, we introduce the $t$-truncated Vendi score by truncating the eigenspectrum of the kernel matrix, which is provably guaranteed to converge to its population limit with $n=\mathcal{O}(t)$ samples. We further show that existing Nystr\"om and FKEA approximation methods converge to the asymptotic limit of the truncated Vendi score. In contrast to the Vendi score, we prove that the RKE score enjoys universal convergence guarantees across all kernel functions. We conduct several numerical experiments to illustrate the concentration of Nystr\"om and FKEA computed Vendi scores around the truncated Vendi score, and we analyze how the truncated Vendi and RKE scores correlate with the diversity of image and text data. The code is available at https://github.com/aziksh-ospanov/truncated-vendi.
• Abstract（参考訳）: 参照データなしで生成モデルの多様性を評価することは、方法論的な課題をもたらす。 基準のないベンディとRKEのスコアは、行列ベースのエントロピー測度を用いて生成されたデータの多様性を定量化することでこの問題に対処する。 これら2つの中で、ベンディのスコアは通常、n の生成標本から構築された$n \times n$ カーネル行列の固有分解によって計算される。 しかし、大規模な$n$に対する固有分解の禁止的な計算コストは、しばしば20,000未満のサンプル数を制限する。 本稿では,VendiとRKEの統計収束度を限定サンプルサイズで検討する。 我々は、一般に、20,000以下の標準サンプルサイズで計算されたベンディスコアが、無限サンプリングの下でその漸近値に収束しないことを数値的に示す。 これを解決するために、カーネル行列の固有スペクトルをトラッカーすることで、$t$-truncated Vendiスコアを導入し、これは、その集団極限に$n=\mathcal{O}(t)$サンプルで収束することを確実に保証する。 さらに、既存のNystr\"omとFKEA近似法は、トランケートされたベンディスコアの漸近極限に収束することを示す。 ベンディスコアとは対照的に、RKEスコアがすべてのカーネル関数の普遍収束保証を享受していることを証明する。 我々は,Nystr\"omとFKEA計算したVendiスコアの集中度を示す数値実験を行い,Truncated VendiスコアとRKEスコアが画像およびテキストデータの多様性とどのように相関するかを解析した。 コードはhttps://github.com/aziksh-ospanov/truncated-vendi.comで公開されている。

関連論文リスト

• Robust Estimation for Kernel Exponential Families with Smoothed Total Variation Distances [2.317910166616341]
  統計的推測では、標本は独立であり、確率分布から同一に分布していると一般的に仮定する。 本稿では,GAN-like 推定器の一般統計モデルへの応用について検討する。
  論文  参考訳（メタデータ） (2024-10-28T05:50:47Z)
• Data Distribution Valuation [56.71023681599737]
  既存のデータバリュエーションメソッドは、離散データセットの値を定義します。 多くのユースケースでは、ユーザはデータセットの値だけでなく、データセットがサンプリングされた分布の値にも興味を持っています。 本稿では,理論的原理と実行可能なポリシを実現するための,MMDに基づく評価手法を提案する。
  論文  参考訳（メタデータ） (2024-10-06T07:56:53Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Towards a Scalable Reference-Free Evaluation of Generative Models [9.322073391374039]
  本稿では、VENDIとRKEのエントロピースコアを推定するためのカーネルエントロピー近似(FKEA)法を提案する。 我々は、FKEAの数値性能を、標準画像、テキスト、ビデオデータセットに適用して広範囲に評価する。 実験結果から,大規模生成モデルに適用する手法のスケーラビリティと解釈可能性を示す。
  論文  参考訳（メタデータ） (2024-07-03T09:54:58Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• An Interpretable Evaluation of Entropy-based Novelty of Generative Models [36.29214321258605]
  生成モデルのモードベースノベルティを定量化するために,カーネルベースのエントロピーノベルティ(KEN)スコアを提案する。 合成および実画像データセットの数値計算結果から,新しいモードの検出におけるフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-27T08:00:52Z)
• Entrywise Inference for Missing Panel Data: A Simple and Instance-Optimal Approach [27.301741710016223]
  停滞した採用によって引き起こされたパネルデータの欠落データバージョンに関連する推論的疑問を考察する。 我々は、予め特定されたカバレッジでエントリワイドな信頼区間を構築するためのデータ駆動方式を開発し、分析する。 我々は、欠落したエントリを推定する際に、そのエラーに非漸近的かつ高い確率境界を証明した。
  論文  参考訳（メタデータ） (2024-01-24T18:58:18Z)
• Non-Stochastic CDF Estimation Using Threshold Queries [3.6576781735746513]
  実験的な分布を2つの課題で推定する問題に取り組む。 まず、アルゴリズムはデータを直接観察するのではなく、サンプルについて限られた数のしきい値クエリしか要求しない。 第二に、データは独立で同一の分散であると仮定されず、代わりにサンプルを生成する任意のプロセスが可能である。
  論文  参考訳（メタデータ） (2023-01-13T18:00:57Z)
• MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
  本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。 我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。 我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
  論文  参考訳（メタデータ） (2022-12-30T07:37:40Z)
• The Vendi Score: A Diversity Evaluation Metric for Machine Learning [4.595428357774472]
  我々は、生態学と量子統計力学のアイデアを機械学習(ML)に結びつけるVendi Scoreを提案する。 類似機能を入力として取り込むことで、Vendi Scoreはユーザが望む多様性の形式を指定することができる。 我々は、分子生成モデリングに関するVendi Scoreを紹介し、その領域における現在の多様性指標の欠点に対処することを発見した。 また、Vendi Scoreを画像の生成モデルやテキストの復号アルゴリズムに適用し、それらの領域の多様性に関する既知の結果を確認した。
  論文  参考訳（メタデータ） (2022-10-05T17:32:16Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
  我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。 我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。 実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T23:17:30Z)
• On the Subbagging Estimation for Massive Data [10.902757578215255]
  本稿では,コンピュータのメモリ制約を伴うビッグデータ解析のためのサブバッキング(サブサンプル集約)推定手法を紹介する。 サイズ$N$のデータセット全体に対して、$m_N$サブサンプルはランダムに描画され、メモリ制約を満たすためにサブサンプルサイズ$k_Nll N$を持つ各サブサンプルは、交換なしで均一にサンプリングされる。 アメリカン航空のデータセットを分析して、サブバッキング推定が全サンプル推定に数値的に近く、メモリ制約下では計算速度が速いことを示す。
  論文  参考訳（メタデータ） (2021-02-28T21:38:22Z)
• Adjusted chi-square test for degree-corrected block models [13.122543280692641]
  次数補正ブロックモデル(DCSBM)の適合性テストを提案する。 単純な調整により、$d_i$ の調和平均が無限に成長する限り、統計は null の下で分布に収束する。 我々の分布結果は漸近的ではなく、明示的な定数を持ち、目標分布へのコルモゴロフ-スミルノフ距離の有限サンプル境界を与える。
  論文  参考訳（メタデータ） (2020-12-30T05:20:59Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)
• Multi-label Contrastive Predictive Coding [125.03510235962095]
  差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。 本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。 同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T02:46:21Z)
• Density of States Estimation for Out-of-Distribution Detection [69.90130863160384]
  DoSEは状態推定器の密度である。 我々は、他の教師なしOOD検出器に対するDoSEの最先端性能を実証する。
  論文  参考訳（メタデータ） (2020-06-16T16:06:25Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Unbiased and Efficient Log-Likelihood Estimation with Inverse Binomial Sampling [9.66840768820136]
  逆二項サンプリング(IBS)は、データセット全体のログ類似度を、バイアスなく効率的に推定することができる。 IBSは、推定パラメータと最大対数類似値において、代替サンプリング法よりも低い誤差を生成する。
  論文  参考訳（メタデータ） (2020-01-12T19:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。