論文の概要: Divergence Frontiers for Generative Models: Sample Complexity,
Quantization Level, and Frontier Integral
- arxiv url: http://arxiv.org/abs/2106.07898v1
- Date: Tue, 15 Jun 2021 06:26:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-16 15:28:01.203218
- Title: Divergence Frontiers for Generative Models: Sample Complexity,
Quantization Level, and Frontier Integral
- Title(参考訳): 生成モデルにおける分岐フロンティア:サンプル複雑性、量子化レベル、フロンティア積分
- Authors: Lang Liu, Krishna Pillutla, Sean Welleck, Sewoong Oh, Yejin Choi, Zaid
Harchaoui
- Abstract要約: 多様性フロンティアは生成モデルの評価フレームワークとして提案されている。
分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。
また,スムーズな分布推定器の統計的性能を調べることにより,分散フロンティアの枠組みも強化する。
- 参考スコア(独自算出の注目度): 58.434753643798224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The spectacular success of deep generative models calls for quantitative
tools to measure their statistical performance. Divergence frontiers have
recently been proposed as an evaluation framework for generative models, due to
their ability to measure the quality-diversity trade-off inherent to deep
generative modeling. However, the statistical behavior of divergence frontiers
estimated from data remains unknown to this day. In this paper, we establish
non-asymptotic bounds on the sample complexity of the plug-in estimator of
divergence frontiers. Along the way, we introduce a novel integral summary of
divergence frontiers. We derive the corresponding non-asymptotic bounds and
discuss the choice of the quantization level by balancing the two types of
approximation errors arisen from its computation. We also augment the
divergence frontier framework by investigating the statistical performance of
smoothed distribution estimators such as the Good-Turing estimator. We
illustrate the theoretical results with numerical examples from natural
language processing and computer vision.
- Abstract(参考訳): 深層生成モデルの壮大な成功は、その統計性能を測定するための定量的ツールを求めている。
ダイバージェンスフロンティアは、深層生成モデルに固有の品質多様性のトレードオフを測定する能力があるため、生成モデルの評価フレームワークとして最近提案されている。
しかし、データから推定される分岐フロンティアの統計的な挙動は今日まで不明である。
本稿では,分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。
その過程で,発散フロンティアの新たな統合要約を紹介する。
対応する非漸近境界を導出し、その計算から生じる2種類の近似誤差のバランスをとることにより、量子化レベルの選択について議論する。
また,good-turing estimatorのような平滑化分布推定器の統計性能を調べることにより,分岐フロンティアの枠組みを補強する。
自然言語処理とコンピュータビジョンの数値例を用いて理論的結果を示す。
関連論文リスト
- Doubly Robust Inference in Causal Latent Factor Models [13.236747951976675]
本稿では,観測不能な条件下での平均処理効果を推定するための新しいフレームワークを紹介する。
有限サンプルおよび頑健な重み付け保証を導出し、新しい推定器の誤差がパラメトリック速度で平均ゼロガウス分布に収束することを示す。
論文 参考訳(メタデータ) (2024-02-18T17:13:46Z) - Convergence of uncertainty estimates in Ensemble and Bayesian sparse
model discovery [4.446017969073817]
ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。
このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
論文 参考訳(メタデータ) (2023-01-30T04:07:59Z) - The Franz-Parisi Criterion and Computational Trade-offs in High
Dimensional Statistics [73.1090889521313]
本稿では,低次と自由エネルギーの異なるアプローチの厳密な接続を実現することを目的とする。
我々は、自由エネルギーに基づく硬度基準を定義し、それを高次硬度の概念に正式に結び付ける。
結果は、異なる硬さの概念間のつながりに関する概念的な洞察と、具体的な技術ツールの両方を提供する。
論文 参考訳(メタデータ) (2022-05-19T17:39:29Z) - Towards a Numerical Proof of Turbulence Closure [58.720142291102135]
本稿では, 統計誤差, ユーレリアおよびラグランジアン構造関数, エネルギーカスケードの断続統計を定量的に再現するディープリカレントニューラルネットワークに基づく閉包を提案する。
本研究は,3次元ナビエ-ストークス乱流に対する類似した手法の開発を奨励するものである。
論文 参考訳(メタデータ) (2022-02-18T16:31:57Z) - On Parameter Estimation in Unobserved Components Models subject to
Linear Inequality Constraints [0.0]
多変量ガウス密度を用いた非標準密度の近似法を提案する。
提案手法は, 最終トレンド推定における既存近似法と同程度に有効であることを示す。
論文 参考訳(メタデータ) (2021-10-23T05:58:19Z) - Non asymptotic estimation lower bounds for LTI state space models with
Cram\'er-Rao and van Trees [1.14219428942199]
本研究では,未知の共分散のガウス励起を持つ線形時間不変(LTI)状態空間モデルに対する推定問題について検討する。
予測される推定誤差と最小二乗推定器の平均二乗推定リスクに対して非下界を与える。
その結果, 推定リスクを期待して, 既存の下限を下限に拡張し, 改善した。
論文 参考訳(メタデータ) (2021-09-17T15:00:25Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳(メタデータ) (2020-10-11T19:05:49Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。