論文の概要: CADMA: Capacity-Aware Coverage Decomposition for Generative Model Assessment
- arxiv url: http://arxiv.org/abs/2611.12243v1
- Date: Mon, 09 Nov 2026 11:31:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.2972
- Title: CADMA: Capacity-Aware Coverage Decomposition for Generative Model Assessment
- Title(参考訳): CADMA:生成モデル評価のための容量対応被覆分解
- Abstract要約: CADMAはリコール指向評価と診断のためのキャパシティアウェアフレームワークである。
CADMAは、既存の指標よりも信頼性が高く、よりきめ細かな、解釈可能な多様性障害の診断信号を提供する。
- 参考スコア(独自算出の注目度): 56.183389338838374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating generative models requires measuring not only sample fidelity but also how well a generated set covers the real data distribution. Recent work has therefore introduced recall-oriented metrics for distribution-level evaluation. However, existing recall metrics often reduce distributional coverage to geometry-based coverage. This simplifying assumption weakens their diagnostic value and interpretability in two ways: these metrics provide only a single aggregate score that cannot distinguish essential diversity failures such as mode dropping and mode collapse, and geometry-based coverage can provide unreliable estimates by assigning high scores to poorly covered generative distributions. We therefore introduce CADMA, a capacity-aware framework for recall-oriented evaluation and diagnosis. CADMA evaluates distributional coverage through local capacity matching between real and generated samples, separating geometry-based coverage from effective coverage. This yields multi-dimensional coverage diagnostics that quantify mode dropping and mode collapse while reducing the overly optimistic estimates produced by geometry-based metrics. Through extensive experiments on toy data, real-world datasets, and generative models, we show that CADMA provides more reliable coverage estimates and more fine-grained, interpretable diagnostic signals of diversity failures than existing metrics. Our code is available at https://github.com/Open-Debin/CADMA_NeurIPS2026.
- Abstract(参考訳): 生成モデルを評価するには、サンプルの忠実度だけでなく、生成した集合が実際のデータ分布をどの程度うまくカバーしているかを測定する必要がある。
そのため、近年の研究は、分散レベル評価のためのリコール指向メトリクスを導入している。
しかし、既存のリコールメトリクスは、しばしば幾何学に基づくカバレッジへの分布カバレッジを減少させる。
これらのメトリクスは、モードドロップやモード崩壊のような基本的な多様性の失敗を区別できない単一の集計スコアのみを提供し、幾何学ベースのカバレッジは、カバーされていない生成分布に高いスコアを割り当てることによって、信頼できない見積もりを提供することができる。
そこで我々は,リコール指向評価と診断のためのキャパシティアウェアフレームワークCADMAを紹介した。
CADMAは,実検体と生検体の局所的容量マッチングにより分布範囲を評価し,幾何学的カバレッジを効果的なカバレッジから分離する。
これは、幾何ベースのメトリクスによって生成される過度に楽観的な推定を減らしながら、モードドロップとモード崩壊を定量化する多次元カバレッジ診断をもたらす。
おもちゃのデータ、実世界のデータセット、生成モデルに関する広範な実験を通して、CADMAは既存の指標よりも信頼性が高く、よりきめ細かな、解釈可能な多様性障害の診断信号を提供する。
私たちのコードはhttps://github.com/Open-Debin/CADMA_NeurIPS2026で公開されています。
関連論文リスト
- Evaluating Deep Multivariate Imputation Models on Wearable Device Data [1.9474251417198067]
BRITS(英語版)やSAITS(英語版)のような深い計算手法は、現実的な欠損下でのマルチモーダルな生理的データに対して限定的な評価を受けている。
トレーニングデータから連続した欠落テンプレートをマイニングし,ギャップ長単位の量子化によって階層化し,コミストネス構造を保存したブロックマスクとして注入する評価プロトコルを開発した。
一致したトレーニングプロトコルが同一の欠損分布にモデルを公開することで、BRITSの重いギャップMAEを43%削減する。
論文 参考訳(メタデータ) (2026-08-25T11:48:12Z) - A Theoretical Framework for Statistical Evaluability of Generative Models [57.9316356505791]
本稿では、生成モデルを評価するための理論的枠組みを導入し、一般的なメトリクスに対する評価結果を確立する。
テストベースのメトリクス、例えば積分確率測定(IPM)とレニイ発散(Rényi divergences)の2つのカテゴリについて検討する。
任意の有界テストクラスに対するIPMは、乗法および加法近似誤差まで有限標本から評価できることを示す。
対照的に、レニイとKLの発散は、希少事象によってその値が批判的に決定されるため、有限標本から評価できない。
論文 参考訳(メタデータ) (2026-04-07T01:53:59Z) - Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
条件付きカバレッジ推定が分類問題であることを示す。
得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。
ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
論文 参考訳(メタデータ) (2025-12-12T18:47:39Z) - MMDCP: A Distribution-free Approach to Outlier Detection and Classification with Coverage Guarantees and SCW-FDR Control [6.429952624399788]
ラベルシフト下でのマルチクラス分類と外乱検出のための統一的なフレームワークを提案する。
修正マハラノビス距離等角予測(MMDCP)は、クラス固有の距離測度と完全な等角予測を組み合わせてスコア関数を構築する。
オラクルと経験的コンフォーマルな$p$-値のギャップを初めて理論的に評価し、クラスワイド偽発見率(CW-FDR)の有効なカバレッジと効果的な制御を確実にする。
論文 参考訳(メタデータ) (2025-11-15T03:48:44Z) - Conformal Prediction for Multi-Source Detection on a Network [59.17729745907474]
マルチソース検出問題について検討する。
グラフ上のノード感染状況のスナップショットが与えられた場合、伝播を開始するソースノードのセットを推定する。
本稿では,ソースセット検出のための統計的に有効なリコール保証を提供する新しいコンフォメーション予測フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-12T01:09:56Z) - Understanding Deep Generative Models with Generalized Empirical
Likelihoods [3.7978679293562587]
そこで本研究では,最大平均離散性と一般化経験的類似性(Generalized Empirical Likelihood)の技術を組み合わせて,サンプルごとの解釈可能性を維持する分布テストを作成する方法について述べる。
このようなテストでは、精度/リコールの改善などの指標よりも、モード低下やモード不均衡の度合いが最大60%向上していることが判明した。
論文 参考訳(メタデータ) (2023-06-16T11:33:47Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - Federated Deep AUC Maximization for Heterogeneous Data with a Constant
Communication Complexity [77.78624443410216]
異種胸部データ検出のための改良型FDAMアルゴリズムを提案する。
本研究は,提案アルゴリズムの通信が機械数に強く依存し,精度レベルにも強く依存していることを示す。
FDAMアルゴリズムのベンチマークデータセットと、異なる組織の医療用胸部X線画像に対する効果を実験により実証した。
論文 参考訳(メタデータ) (2021-02-09T04:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。