論文の概要: An Interpretable Evaluation of Entropy-based Novelty of Generative Models

• arxiv url: http://arxiv.org/abs/2402.17287v1
• Date: Tue, 27 Feb 2024 08:00:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 17:23:49.984298
• Title: An Interpretable Evaluation of Entropy-based Novelty of Generative Models
• Title（参考訳）: 生成モデルのエントロピーに基づく新規性の解釈可能な評価
• Authors: Jingwei Zhang, Cheuk Ting Li, Farzan Farnia
• Abstract要約: 本研究は,マルチモーダル生成モデルに基づく新規性評価に焦点を当てた。 本稿では,カーネルベースのエントロピーノベルティ(KEN)スコアを提案し,分布のモードベースノベルティを定量化する。 以上の結果から,提案手法が新しいモードの検出に有効であること,および最先端の生成モデルとの比較が示唆された。
• 参考スコア（独自算出の注目度）: 40.78873195851798
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The massive developments of generative model frameworks and architectures require principled methods for the evaluation of a model's novelty compared to a reference dataset or baseline generative models. While the recent literature has extensively studied the evaluation of the quality, diversity, and generalizability of generative models, the assessment of a model's novelty compared to a baseline model has not been adequately studied in the machine learning community. In this work, we focus on the novelty assessment under multi-modal generative models and attempt to answer the following question: Given the samples of a generative model $\mathcal{G}$ and a reference dataset $\mathcal{S}$, how can we discover and count the modes expressed by $\mathcal{G}$ more frequently than in $\mathcal{S}$. We introduce a spectral approach to the described task and propose the Kernel-based Entropic Novelty (KEN) score to quantify the mode-based novelty of distribution $P_\mathcal{G}$ with respect to distribution $P_\mathcal{S}$. We analytically interpret the behavior of the KEN score under mixture distributions with sub-Gaussian components. Next, we develop a method based on Cholesky decomposition to compute the KEN score from observed samples. We support the KEN-based quantification of novelty by presenting several numerical results on synthetic and real image distributions. Our numerical results indicate the success of the proposed approach in detecting the novel modes and the comparison of state-of-the-art generative models.
• Abstract（参考訳）: 生成モデルフレームワークやアーキテクチャの大規模な開発には、参照データセットやベースライン生成モデルと比較して、モデルの新規性を評価するための原則的な方法が必要となる。 最近の文献では、生成モデルの質、多様性、一般化性の評価が広く研究されているが、ベースラインモデルに対するモデルの新規性の評価は機械学習コミュニティでは十分に研究されていない。 生成モデル $\mathcal{g}$ と参照データセット $\mathcal{s}$ のサンプルを考えると、$\mathcal{s}$ より頻繁に$\mathcal{g}$ で表されるモードをどうやって見つけて数えることができるか。 本稿では,上記のタスクにスペクトル的アプローチを導入し,分散$p_\mathcal{g}$のモードに基づく新しさを定量化するためのカーネル・ベース・エントロピー・ノベルティ(ken)スコアを提案する。 サブガウシアン成分との混合分布下でのケンスコアの挙動を解析的に解釈する。 次に,Colesky分解に基づく観測試料からKENスコアを計算する手法を開発した。 我々は,KENに基づく新規性の定量化を支援するために,合成および実画像の分布に関する数値的な結果を提示した。 提案手法は,新しいモードの検出に成功し,最新の生成モデルとの比較を行った。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Hierarchical Blockmodelling for Knowledge Graphs [0.5530212768657544]
  知識グラフ上の階層的なエンティティクラスタリングのためにブロックモデルを使用します。 Nested Chinese Restaurant ProcessとStick Breaking Processを生成モデルに統合することで、階層的なクラスタリングの誘導が可能になる。 我々は、合成および実世界のデータセット上でモデルを評価し、ベンチマークモデルと定量的に比較した。
  論文  参考訳（メタデータ） (2024-08-28T09:04:15Z)
• Towards a Scalable Reference-Free Evaluation of Generative Models [9.322073391374039]
  本稿では、VENDIとRKEのエントロピースコアを推定するためのカーネルエントロピー近似(FKEA)法を提案する。 我々は、FKEAの数値性能を、標準画像、テキスト、ビデオデータセットに適用して広範囲に評価する。 実験結果から,大規模生成モデルに適用する手法のスケーラビリティと解釈可能性を示す。
  論文  参考訳（メタデータ） (2024-07-03T09:54:58Z)
• Identification of Novel Modes in Generative Models via Fourier-based Differential Clustering [33.22153760327227]
  本稿では,Fourier-based Identification of Novel Clusters (FINC) という手法を提案する。 FINCの大規模コンピュータビジョンデータセットおよび生成モデルフレームワークへの応用を実証する。
  論文  参考訳（メタデータ） (2024-05-04T16:06:50Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Sparsely constrained neural networks for model discovery of PDEs [0.0]
  本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。 異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
  論文  参考訳（メタデータ） (2020-11-09T11:02:40Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。