論文の概要: A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative
Models
- arxiv url: http://arxiv.org/abs/2310.05833v1
- Date: Mon, 9 Oct 2023 16:22:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 00:25:38.895838
- Title: A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative
Models
- Title(参考訳): 生成モデルに対するカーネルスコアの偏分散共分散分解
- Authors: Sebastian G. Gruber, Florian Buettner
- Abstract要約: カーネルスコアとその関連するエントロピーに対する最初のバイアス-分散-共分散分解を導入する。
分散と予測的カーネルエントロピーは,画像,音声,言語生成の不確実性に対して有効な尺度であることを示す。
- 参考スコア(独自算出の注目度): 15.981380319863527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative models, like large language models, are becoming increasingly
relevant in our daily lives, yet a theoretical framework to assess their
generalization behavior and uncertainty does not exist. Particularly, the
problem of uncertainty estimation is commonly solved in an ad-hoc manner and
task dependent. For example, natural language approaches cannot be transferred
to image generation. In this paper we introduce the first
bias-variance-covariance decomposition for kernel scores and their associated
entropy. We propose unbiased and consistent estimators for each quantity which
only require generated samples but not the underlying model itself. As an
application, we offer a generalization evaluation of diffusion models and
discover how mode collapse of minority groups is a contrary phenomenon to
overfitting. Further, we demonstrate that variance and predictive kernel
entropy are viable measures of uncertainty for image, audio, and language
generation. Specifically, our approach for uncertainty estimation is more
predictive of performance on CoQA and TriviaQA question answering datasets than
existing baselines and can also be applied to closed-source models.
- Abstract(参考訳): 大規模言語モデルのような生成モデルは、日々の生活に益々関連してきているが、その一般化行動や不確実性を評価するための理論的枠組みは存在しない。
特に不確実性推定の問題はアドホックな方法とタスクに依存して一般に解決される。
例えば、自然言語のアプローチは画像生成に転送できない。
本稿では,カーネルスコアとそのエントロピーに関する最初のバイアス分散共分散分解について述べる。
生成したサンプルのみを必要とするが、基礎となるモデル自体を必要としない各量に対するバイアスのない一貫した推定器を提案する。
応用として,拡散モデルの一般化評価を行い,少数群のモード崩壊が過度に適合する現象であることを示す。
さらに,画像,音声,言語生成における不確実性について,分散と予測的カーネルエントロピーが有効であることを示す。
特に,不確実性推定に対する我々のアプローチは,既存のベースラインよりもデータセットに回答するCoQAとTriviaQAの性能を予測し,クローズドソースモデルにも適用できる。
関連論文リスト
- Model-Agnostic Covariate-Assisted Inference on Partially Identified
Causal Effects [2.1638817206926855]
多くの因果推定値は、潜在的な結果間の観測不能な関節分布に依存するため、部分的にしか識別できない。
本研究では,部分的同定された推定値の広いクラスに対して,統一的かつモデルに依存しない推論手法を提案する。
論文 参考訳(メタデータ) (2023-10-12T08:17:30Z) - Deep Evidential Learning for Bayesian Quantile Regression [3.6294895527930504]
1つの決定論的フォワードパスモデルから正確な不確実性を推定することが望ましい。
本稿では,ガウス的仮定を使わずに連続目標分布の量子化を推定できるディープベイズ量子回帰モデルを提案する。
論文 参考訳(メタデータ) (2023-08-21T11:42:16Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳(メタデータ) (2022-11-11T19:34:17Z) - Uncertainty Estimates of Predictions via a General Bias-Variance
Decomposition [7.811916700683125]
本稿では,適切なスコアに対するバイアス分散分解を導入し,分散項としてブレグマン情報を導出する。
モデルアンサンブルや信頼領域を含む下流タスクにおけるこの分解の実践的妥当性を示す。
論文 参考訳(メタデータ) (2022-10-21T21:24:37Z) - Bayesian Nonlocal Operator Regression (BNOR): A Data-Driven Learning
Framework of Nonlocal Models with Uncertainty Quantification [4.705624984585247]
ミクロスケールの力学と相互作用が世界的挙動に影響を及ぼす異種材料をモデル化する問題を考える。
非局所モデルを用いた材料応答予測における不確実性(UQ)のためのベイズフレームワークを開発する。
この研究は、ホモジェナイゼーションの文脈における非局所モデル差の統計的特徴付けへの第一歩である。
論文 参考訳(メタデータ) (2022-10-06T22:37:59Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳(メタデータ) (2022-07-14T17:08:25Z) - Uncertainty estimation under model misspecification in neural network
regression [3.2622301272834524]
モデル選択が不確実性評価に与える影響について検討する。
モデルミスセグメンテーションでは,アレータリック不確実性は適切に捉えられていない。
論文 参考訳(メタデータ) (2021-11-23T10:18:41Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-11-22T08:54:10Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-07T10:14:18Z) - Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware
Regression [91.3373131262391]
不確かさが唯一の確実性である。
伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。
現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
論文 参考訳(メタデータ) (2021-03-25T06:56:09Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。