論文の概要: Proper losses for discrete generative models
- arxiv url: http://arxiv.org/abs/2211.03761v1
- Date: Mon, 7 Nov 2022 18:31:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 16:10:45.012805
- Title: Proper losses for discrete generative models
- Title(参考訳): 離散生成モデルに対する固有損失
- Authors: Rafael Frongillo, Dhamma Kimpara, Bo Waggoner
- Abstract要約: 本研究では, 離散的な環境下での生成モデルの評価において適切な損失について検討する。
予測損失を最小化する生成分布が対象分布と等しい場合、損失をブラックボックス固有と定義する。
- 参考スコア(独自算出の注目度): 8.508198765617196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We initiate the study of proper losses for evaluating generative models in
the discrete setting. Unlike traditional proper losses, we treat both the
generative model and the target distribution as black-boxes, only assuming
ability to draw i.i.d. samples. We define a loss to be black-box proper if the
generative distribution that minimizes expected loss is equal to the target
distribution. Using techniques from statistical estimation theory, we give a
general construction and characterization of black-box proper losses: they must
take a polynomial form, and the number of draws from the model and target
distribution must exceed the degree of the polynomial. The characterization
rules out a loss whose expectation is the cross-entropy between the target
distribution and the model. By extending the construction to arbitrary sampling
schemes such as Poisson sampling, however, we show that one can construct such
a loss.
- Abstract(参考訳): 離散的設定における生成モデル評価のための適切な損失の研究を開始する。
従来の固有損失とは異なり、生成モデルと対象分布の両方をブラックボックスとして扱い、i.i.d.サンプルを描画する能力のみを仮定する。
予測損失を最小限にした生成分布が対象分布と等しい場合、損失をブラックボックス固有と定義する。
統計的推定理論の手法を用いて、ブラックボックスの適切な損失の一般的な構成と特徴を与える:それらは多項式形式を取る必要があり、モデルと対象分布からのドローの数は多項式の次数を超えなければならない。
キャラクタリゼーションは、目標分布とモデルの間のクロスエントロピーを期待する損失を除外する。
しかし、ポアソンサンプリングのような任意のサンプリングスキームに構成を拡張することにより、そのような損失を構築できることを示す。
関連論文リスト
- Guaranteed Optimal Generative Modeling with Maximum Deviation from the
Empirical Distribution [0.0]
ジェネレーティブ・モデリング(Generative Modeling)は、科学および産業分野で様々な用途に応用された機械学習手法である。
その主な目的は、トレーニングデータから得られた未知の分布から引き出された新しいサンプルをシミュレートし、多様性を確保し、トレーニングデータからのサンプルの複製を避けることである。
本稿では, 実データ生成分布を学習データ生成分布に置き換える誤差は, サンプルサイズが無限大に近づくにつれて, 最適に0に収束する必要があり, トレーニングデータ中の任意の分布複製例から, 学習データ生成分布が十分遠く離れるべきである,という2つの特性を持つ生成モデルのトレーニングに関する理論的知見を示す。
論文 参考訳(メタデータ) (2023-07-31T06:11:57Z) - On Tail Decay Rate Estimation of Loss Function Distributions [5.33024001730262]
我々は辺分布の尾部を推定する新しい理論を開発した。
一定の規則性条件下では、境界分布の形状パラメータは条件分布の族における最大尾形パラメータであることを示す。
論文 参考訳(メタデータ) (2023-06-05T11:58:25Z) - Covariate balancing using the integral probability metric for causal
inference [1.8899300124593648]
本稿では,2つの確率測度間の距離である積分確率測度(IPM)について検討する。
モデルを正確に指定することなく,対応する推定器の整合性を証明した。
提案手法は, 有限標本に対して, 既存の重み付け法よりも大きなマージンを有する。
論文 参考訳(メタデータ) (2023-05-23T06:06:45Z) - Flow Away your Differences: Conditional Normalizing Flows as an
Improvement to Reweighting [0.0]
本稿では, 条件分布の所望の変化を考慮に入れた再重み付け手法の代替手法を提案する。
条件付き正規化フローを用いて、完全条件付き確率分布を学習する。
この例では、ソースとターゲットの分布を同一のサンプルサイズで再重み付けする手法よりも、統計精度が最大3倍に向上する。
論文 参考訳(メタデータ) (2023-04-28T16:33:50Z) - Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。
本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
論文 参考訳(メタデータ) (2023-02-01T17:46:47Z) - Bias-Variance Decompositions for Margin Losses [3.574241508860471]
厳格な凸マージン損失に対して、予測されるリスクは「中央」モデルのリスクに分解されることを示す。
これらの分解は、モデルオーバーフィット/アンダーフィットを理解するための診断ツールを提供する。
論文 参考訳(メタデータ) (2022-04-26T08:45:43Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T16:58:34Z) - Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。
本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。
本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
論文 参考訳(メタデータ) (2021-07-29T17:42:12Z) - Shaping Deep Feature Space towards Gaussian Mixture for Visual
Classification [74.48695037007306]
視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。
分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。
提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
論文 参考訳(メタデータ) (2020-11-18T03:32:27Z) - Estimating Generalization under Distribution Shifts via Domain-Invariant
Representations [75.74928159249225]
未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。
結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
論文 参考訳(メタデータ) (2020-07-06T17:21:24Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。