論文の概要: Proper losses for discrete generative models

• arxiv url: http://arxiv.org/abs/2211.03761v1
• Date: Mon, 7 Nov 2022 18:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:10:45.012805
• Title: Proper losses for discrete generative models
• Title（参考訳）: 離散生成モデルに対する固有損失
• Authors: Rafael Frongillo, Dhamma Kimpara, Bo Waggoner
• Abstract要約: 本研究では, 離散的な環境下での生成モデルの評価において適切な損失について検討する。 予測損失を最小化する生成分布が対象分布と等しい場合、損失をブラックボックス固有と定義する。
• 参考スコア（独自算出の注目度）: 8.508198765617196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We initiate the study of proper losses for evaluating generative models in the discrete setting. Unlike traditional proper losses, we treat both the generative model and the target distribution as black-boxes, only assuming ability to draw i.i.d. samples. We define a loss to be black-box proper if the generative distribution that minimizes expected loss is equal to the target distribution. Using techniques from statistical estimation theory, we give a general construction and characterization of black-box proper losses: they must take a polynomial form, and the number of draws from the model and target distribution must exceed the degree of the polynomial. The characterization rules out a loss whose expectation is the cross-entropy between the target distribution and the model. By extending the construction to arbitrary sampling schemes such as Poisson sampling, however, we show that one can construct such a loss.
• Abstract（参考訳）: 離散的設定における生成モデル評価のための適切な損失の研究を開始する。 従来の固有損失とは異なり、生成モデルと対象分布の両方をブラックボックスとして扱い、i.i.d.サンプルを描画する能力のみを仮定する。 予測損失を最小限にした生成分布が対象分布と等しい場合、損失をブラックボックス固有と定義する。 統計的推定理論の手法を用いて、ブラックボックスの適切な損失の一般的な構成と特徴を与える:それらは多項式形式を取る必要があり、モデルと対象分布からのドローの数は多項式の次数を超えなければならない。 キャラクタリゼーションは、目標分布とモデルの間のクロスエントロピーを期待する損失を除外する。 しかし、ポアソンサンプリングのような任意のサンプリングスキームに構成を拡張することにより、そのような損失を構築できることを示す。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Universality in Transfer Learning for Linear Models [18.427215139020625]
  回帰モデルと二分分類モデルの両方を対象とした線形モデルにおける伝達学習の問題点について検討する。 我々は、厳密かつ厳密な分析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• On Tail Decay Rate Estimation of Loss Function Distributions [5.33024001730262]
  我々は辺分布の尾部を推定する新しい理論を開発した。 一定の規則性条件下では、境界分布の形状パラメータは条件分布の族における最大尾形パラメータであることを示す。
  論文  参考訳（メタデータ） (2023-06-05T11:58:25Z)
• Bias-Variance Decompositions for Margin Losses [3.574241508860471]
  厳格な凸マージン損失に対して、予測されるリスクは「中央」モデルのリスクに分解されることを示す。 これらの分解は、モデルオーバーフィット/アンダーフィットを理解するための診断ツールを提供する。
  論文  参考訳（メタデータ） (2022-04-26T08:45:43Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。