論文の概要: Bounding Evidence and Estimating Log-Likelihood in VAE

• arxiv url: http://arxiv.org/abs/2206.09453v2
• Date: Wed, 05 Mar 2025 11:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:50:28.813654
• Title: Bounding Evidence and Estimating Log-Likelihood in VAE
• Title（参考訳）: VAEにおけるログ類似度の評価と証拠のバウンディング
• Authors: Łukasz Struski, Marcin Mazur, Paweł Batorski, Przemysław Spurek, Jacek Tabor,
• Abstract要約: 本稿では,データのエビデンスを効率的に近似できる,汎用的で効果的な上限を導入する。 我々は,他の最先端の上界との比較を含む,我々のアプローチに関する広範な理論的,実験的研究を行っている。
• 参考スコア（独自算出の注目度）: 7.5756417889485315
• License:
• Abstract: Many crucial problems in deep learning and statistical inference are caused by a variational gap, i.e., a difference between model evidence (log-likelihood) and evidence lower bound (ELBO). In particular, in a classical VAE setting that involves training via an ELBO cost function, it is difficult to provide a robust comparison of the effects of training between models, since we do not know a log-likelihood of data (but only its lower bound). In this paper, to deal with this problem, we introduce a general and effective upper bound, which allows us to efficiently approximate the evidence of data. We provide extensive theoretical and experimental studies of our approach, including its comparison to the other state-of-the-art upper bounds, as well as its application as a tool for the evaluation of models that were trained on various lower bounds.
• Abstract（参考訳）: 深層学習と統計的推論における多くの重要な問題は、モデルエビデンス(log-likelihood)とエビデンスローバウンド(ELBO)の違いによって引き起こされる。 特に、ELBOコスト関数によるトレーニングを含む古典的なVAE設定では、データのログのような性質(ただし、下位境界のみ)を知らないため、モデル間のトレーニングの効果を堅牢に比較することは困難である。 本稿では,この問題に対処するために,データの証拠を効率的に近似できる,汎用的で効果的な上限を導入する。 提案手法の理論的および実験的研究は、他の最先端の上界との比較や、様々な下界で訓練されたモデル評価ツールとしての応用を含む。

関連論文リスト

• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Nonparametric logistic regression with deep learning [1.2509746979383698]
  非パラメトリックロジスティック回帰では、クルバック・リーバーの発散は容易に発散できる。 余剰リスクを解析する代わりに、最大可能性推定器の一貫性を示すのに十分である。 重要な応用として、深層ニューラルネットワークによるNPMLEの収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-23T04:31:49Z)
• Rethinking Test-time Likelihood: The Likelihood Path Principle and Its Application to OOD Detection [5.747789057967598]
  我々は、可能性経路(LPath)原理を導入し、可能性原理を一般化する。 これにより、情報的要約統計の探索を、VAEsの条件付き確率の最小限の統計量にまで絞り込む。 対応するLPathアルゴリズムは、推定値の低い単純かつ小さなVAEでもSOTA性能を示す。
  論文  参考訳（メタデータ） (2024-01-10T05:07:14Z)
• Forward $\chi^2$ Divergence Based Variational Importance Sampling [2.841087763205822]
  本稿では,ログ類似度を直接推定し,最大化する新しい変動重要度サンプリング(VIS)手法を提案する。 我々は、混合モデル、変分自動エンコーダ、部分的に観測可能な一般化線形モデルなど、様々な一般的な潜在変数モデルにVISを適用する。
  論文  参考訳（メタデータ） (2023-11-04T21:46:28Z)
• On the Trade-offs between Adversarial Robustness and Actionable Explanations [32.05150063480917]
  本研究は, 対向的に頑健なモデルが動作可能な説明に与える影響を初めて研究する試みである。 提案手法は,最先端のアルゴリズムが生成する手法のコストと妥当性の差に関する理論的境界を導出する。 その結果, 逆向き頑健なモデルでは, コストが大幅に増加し, 結果の妥当性が低下することが示唆された。
  論文  参考訳（メタデータ） (2023-09-28T13:59:50Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
  データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。 既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。 本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
  論文  参考訳（メタデータ） (2022-03-11T10:47:16Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。