論文の概要: Grade Inflation in Generative Models

• arxiv url: http://arxiv.org/abs/2501.00664v3
• Date: Wed, 22 Jan 2025 21:15:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:57:22.375044
• Title: Grade Inflation in Generative Models
• Title（参考訳）: 生成モデルにおけるグレードインフレーション
• Authors: Phuc Nguyen, Miao Li, Alexandra Morgan, Rima Arnaout, Ramy Arnaout,
• Abstract要約: その結果,合成データの2次元分布と地絡データの2次元分布を比較することで,より優れた結果が得られることがわかった。 我々は、すべてのデータポイントを等しく評価するスコアも、これらと同様に、グレードインフレーションを示すことを提案する。 等密度スコアと負の次数R'enyiエントロピーの関連を同定する。
• 参考スコア（独自算出の注目度）: 53.21822493223038
• License:
• Abstract: Generative models hold great potential, but only if one can trust the evaluation of the data they generate. We show that many commonly used quality scores for comparing two-dimensional distributions of synthetic vs. ground-truth data give better results than they should, a phenomenon we call the "grade inflation problem." We show that the correlation score, Jaccard score, earth-mover's score, and Kullback-Leibler (relative-entropy) score all suffer grade inflation. We propose that any score that values all datapoints equally, as these do, will also exhibit grade inflation; we refer to such scores as "equipoint" scores. We introduce the concept of "equidensity" scores, and present the Eden score, to our knowledge the first example of such a score. We found that Eden avoids grade inflation and agrees better with human perception of goodness-of-fit than the equipoint scores above. We propose that any reasonable equidensity score will avoid grade inflation. We identify a connection between equidensity scores and R\'enyi entropy of negative order. We conclude that equidensity scores are likely to outperform equipoint scores for generative models, and for comparing low-dimensional distributions more generally.
• Abstract（参考訳）: 生成モデルは大きな可能性を秘めているが、生成したデータの評価を信頼できる場合に限られる。 本研究では, 合成データと地下構造データの2次元分布を比較するためによく用いられる品質スコアが, 適度な結果をもたらすことを示し, グレードインフレーション問題(grade inflation problem)と呼ぶ現象を示した。 相関スコア,ジャカードスコア,アースモーバースコア,カルバック・リーブラースコア(相対エントロピー)がすべてインフレーションに苦しむことを示す。 我々は、すべてのデータポイントを等しく評価するスコアは、これらのスコアと同様に、グレードインフレーション(グレードインフレーション)を示すことを提案し、これらのスコアを「平等」スコアと呼ぶ。 本研究では,「等価性」スコアの概念を導入し,その最初の例である「Eden」スコアを知識に提示する。 Eden はグレードインフレーションを回避し、上述の等点スコアよりも人間の良さに対する認識によく一致することがわかった。 妥当な均衡スコアは、グレードインフレーションを回避できると提案する。 等密度スコアと負の次数のR'enyiエントロピーの関連を同定する。 等密度スコアは、生成モデルの等点スコアよりも優れ、低次元分布をより一般的に比較する可能性が高いと結論付けている。

関連論文リスト

• The Distributional Uncertainty of the SHAP score in Explainable Machine Learning [2.655371341356892]
  本稿では,未知の実体集団分布下でのSHAPスコアの推論の原理的枠組みを提案する。 我々は,この関数の最大値と最小値を求める基本的な問題について検討し,すべての特徴のSHAPスコアに対して厳密な範囲を決定できることを示した。
  論文  参考訳（メタデータ） (2024-01-23T13:04:02Z)
• Human Feedback is not Gold Standard [28.63384327791185]
  我々は、トレーニングと評価の両方において、人間のフィードバックの使用を批判的に分析する。 選好スコアはかなり良いカバレッジを持っているが、事実性のような重要な側面は低く表現されている。
  論文  参考訳（メタデータ） (2023-09-28T11:18:20Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)
• A Study on the Evaluation of Generative Models [19.18642459565609]
  潜在的生成モデルは、確率値を返さないが、近年は普及している。 本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。 FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
  論文  参考訳（メタデータ） (2022-06-22T09:27:31Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Learning Fair Node Representations with Graph Counterfactual Fairness [56.32231787113689]
  以上の事実から導かれるバイアスを考慮したグラフ反事実公正性を提案する。 我々は各ノードとその周辺住民の感度特性の摂動に対応する反事実を生成する。 我々のフレームワークはグラフの反ファクトフェアネスにおける最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-01-10T21:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。