論文の概要: An Interpretable Evaluation of Entropy-based Novelty of Generative
Models
- arxiv url: http://arxiv.org/abs/2402.17287v1
- Date: Tue, 27 Feb 2024 08:00:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 17:23:49.984298
- Title: An Interpretable Evaluation of Entropy-based Novelty of Generative
Models
- Title(参考訳): 生成モデルのエントロピーに基づく新規性の解釈可能な評価
- Authors: Jingwei Zhang, Cheuk Ting Li, Farzan Farnia
- Abstract要約: 本研究は,マルチモーダル生成モデルに基づく新規性評価に焦点を当てた。
本稿では,カーネルベースのエントロピーノベルティ(KEN)スコアを提案し,分布のモードベースノベルティを定量化する。
以上の結果から,提案手法が新しいモードの検出に有効であること,および最先端の生成モデルとの比較が示唆された。
- 参考スコア(独自算出の注目度): 40.78873195851798
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The massive developments of generative model frameworks and architectures
require principled methods for the evaluation of a model's novelty compared to
a reference dataset or baseline generative models. While the recent literature
has extensively studied the evaluation of the quality, diversity, and
generalizability of generative models, the assessment of a model's novelty
compared to a baseline model has not been adequately studied in the machine
learning community. In this work, we focus on the novelty assessment under
multi-modal generative models and attempt to answer the following question:
Given the samples of a generative model $\mathcal{G}$ and a reference dataset
$\mathcal{S}$, how can we discover and count the modes expressed by
$\mathcal{G}$ more frequently than in $\mathcal{S}$. We introduce a spectral
approach to the described task and propose the Kernel-based Entropic Novelty
(KEN) score to quantify the mode-based novelty of distribution $P_\mathcal{G}$
with respect to distribution $P_\mathcal{S}$. We analytically interpret the
behavior of the KEN score under mixture distributions with sub-Gaussian
components. Next, we develop a method based on Cholesky decomposition to
compute the KEN score from observed samples. We support the KEN-based
quantification of novelty by presenting several numerical results on synthetic
and real image distributions. Our numerical results indicate the success of the
proposed approach in detecting the novel modes and the comparison of
state-of-the-art generative models.
- Abstract(参考訳): 生成モデルフレームワークやアーキテクチャの大規模な開発には、参照データセットやベースライン生成モデルと比較して、モデルの新規性を評価するための原則的な方法が必要となる。
最近の文献では、生成モデルの質、多様性、一般化性の評価が広く研究されているが、ベースラインモデルに対するモデルの新規性の評価は機械学習コミュニティでは十分に研究されていない。
生成モデル $\mathcal{g}$ と参照データセット $\mathcal{s}$ のサンプルを考えると、$\mathcal{s}$ より頻繁に$\mathcal{g}$ で表されるモードをどうやって見つけて数えることができるか。
本稿では,上記のタスクにスペクトル的アプローチを導入し,分散$p_\mathcal{g}$のモードに基づく新しさを定量化するためのカーネル・ベース・エントロピー・ノベルティ(ken)スコアを提案する。
サブガウシアン成分との混合分布下でのケンスコアの挙動を解析的に解釈する。
次に,Colesky分解に基づく観測試料からKENスコアを計算する手法を開発した。
我々は,KENに基づく新規性の定量化を支援するために,合成および実画像の分布に関する数値的な結果を提示した。
提案手法は,新しいモードの検出に成功し,最新の生成モデルとの比較を行った。
関連論文リスト
- Representer Point Selection for Explaining Regularized High-dimensional
Models [105.75758452952357]
本稿では,高次元表現器と呼ぶサンプルベース説明のクラスを紹介する。
私たちのワークホースは、一般化された高次元モデルに対する新しい代表者定理である。
提案手法の実証的性能について,実世界の2進分類データセットと2つの推薦システムデータセットを用いて検討した。
論文 参考訳(メタデータ) (2023-05-31T16:23:58Z) - Generative Principal Component Analysis [47.03792476688768]
生成的モデリング仮定を用いた主成分分析の問題点を考察する。
鍵となる仮定は、基礎となる信号は、$k$次元の入力を持つ$L$-Lipschitz連続生成モデルの範囲に近いことである。
本稿では,2次推定器を提案し,検体数として$m$の次数$sqrtfracklog Lm$の統計率を示す。
論文 参考訳(メタデータ) (2022-03-18T01:48:16Z) - Meta-Model Structure Selection: Building Polynomial NARX Model for
Regression and Classification [0.0]
本研究は、回帰と分類問題に対するNARXモデルの構造を選択するための新しいメタヒューリスティックなアプローチを提案する。
新しいアルゴリズムのロバスト性は、異なる非線形特性を持つ複数のシミュレートされた実験システムで試験される。
論文 参考訳(メタデータ) (2021-09-21T02:05:40Z) - Kernel-Based Models for Influence Maximization on Graphs based on
Gaussian Process Variance Minimization [9.357483974291899]
グラフ上の新しい影響モデル(IM)の導入と検討を行う。
データ駆動アプローチは、このIMモデルの適切なカーネルを決定するために適用することができる。
この分野でコストのかかるモンテカルロシミュレーションに依存するモデルと比較して、我々のモデルはシンプルでコスト効率のよい更新戦略を可能にする。
論文 参考訳(メタデータ) (2021-03-02T08:55:34Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳(メタデータ) (2020-10-27T17:54:12Z) - Improving the Reconstruction of Disentangled Representation Learners via
Multi-Stage Modelling [36.511724015405036]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
モデルが相関変数を学習するのに十分な能力を持っていないため,不整合表現学習と再構成品質のトレードオフがもたらされる。
本稿では,既存の不整合表現学習手法を用いて,非整合因子をまず学習する,新しい多段階モデリング手法を提案する。
提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも,はるかに高い再現性を有することを示す。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳(メタデータ) (2020-02-20T10:50:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。