論文の概要: A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative Models

• arxiv url: http://arxiv.org/abs/2310.05833v1
• Date: Mon, 9 Oct 2023 16:22:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 00:25:38.895838
• Title: A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative Models
• Title（参考訳）: 生成モデルに対するカーネルスコアの偏分散共分散分解
• Authors: Sebastian G. Gruber, Florian Buettner
• Abstract要約: カーネルスコアとその関連するエントロピーに対する最初のバイアス-分散-共分散分解を導入する。 分散と予測的カーネルエントロピーは,画像,音声,言語生成の不確実性に対して有効な尺度であることを示す。
• 参考スコア（独自算出の注目度）: 15.981380319863527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models, like large language models, are becoming increasingly relevant in our daily lives, yet a theoretical framework to assess their generalization behavior and uncertainty does not exist. Particularly, the problem of uncertainty estimation is commonly solved in an ad-hoc manner and task dependent. For example, natural language approaches cannot be transferred to image generation. In this paper we introduce the first bias-variance-covariance decomposition for kernel scores and their associated entropy. We propose unbiased and consistent estimators for each quantity which only require generated samples but not the underlying model itself. As an application, we offer a generalization evaluation of diffusion models and discover how mode collapse of minority groups is a contrary phenomenon to overfitting. Further, we demonstrate that variance and predictive kernel entropy are viable measures of uncertainty for image, audio, and language generation. Specifically, our approach for uncertainty estimation is more predictive of performance on CoQA and TriviaQA question answering datasets than existing baselines and can also be applied to closed-source models.
• Abstract（参考訳）: 大規模言語モデルのような生成モデルは、日々の生活に益々関連してきているが、その一般化行動や不確実性を評価するための理論的枠組みは存在しない。 特に不確実性推定の問題はアドホックな方法とタスクに依存して一般に解決される。 例えば、自然言語のアプローチは画像生成に転送できない。 本稿では,カーネルスコアとそのエントロピーに関する最初のバイアス分散共分散分解について述べる。 生成したサンプルのみを必要とするが、基礎となるモデル自体を必要としない各量に対するバイアスのない一貫した推定器を提案する。 応用として,拡散モデルの一般化評価を行い,少数群のモード崩壊が過度に適合する現象であることを示す。 さらに,画像,音声,言語生成における不確実性について,分散と予測的カーネルエントロピーが有効であることを示す。 特に,不確実性推定に対する我々のアプローチは,既存のベースラインよりもデータセットに回答するCoQAとTriviaQAの性能を予測し,クローズドソースモデルにも適用できる。

関連論文リスト

• Causal modelling without introducing counterfactuals or abstract distributions [7.09435109588801]
  本稿では,すべての仮定が検証可能な有限集団に対する因果推論を治療学的予測として解釈する。 この新しい枠組みは、因果関係のモデル依存性と、統計的および科学的推論の違いを強調している。
  論文  参考訳（メタデータ） (2024-07-24T16:07:57Z)
• Fine-Grained Dynamic Framework for Bias-Variance Joint Optimization on Data Missing Not at Random [2.8165314121189247]
  レコメンデーションシステムやディスプレイ広告など、ほとんどの実践的なアプリケーションでは、収集されたデータには欠落する値が含まれることが多い。 我々は,バイアスと分散を協調的に最適化する,体系的なきめ細かな動的学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-24T10:07:09Z)
• Deep Evidential Learning for Bayesian Quantile Regression [3.6294895527930504]
  1つの決定論的フォワードパスモデルから正確な不確実性を推定することが望ましい。 本稿では,ガウス的仮定を使わずに連続目標分布の量子化を推定できるディープベイズ量子回帰モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-21T11:42:16Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Uncertainty Estimates of Predictions via a General Bias-Variance Decomposition [7.811916700683125]
  本稿では,適切なスコアに対するバイアス分散分解を導入し,分散項としてブレグマン情報を導出する。 モデルアンサンブルや信頼領域を含む下流タスクにおけるこの分解の実践的妥当性を示す。
  論文  参考訳（メタデータ） (2022-10-21T21:24:37Z)
• Bayesian Nonlocal Operator Regression (BNOR): A Data-Driven Learning Framework of Nonlocal Models with Uncertainty Quantification [4.705624984585247]
  ミクロスケールの力学と相互作用が世界的挙動に影響を及ぼす異種材料をモデル化する問題を考える。 非局所モデルを用いた材料応答予測における不確実性(UQ)のためのベイズフレームワークを開発する。 この研究は、ホモジェナイゼーションの文脈における非局所モデル差の統計的特徴付けへの第一歩である。
  論文  参考訳（メタデータ） (2022-10-06T22:37:59Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
  本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。 本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-07T10:14:18Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。