論文の概要: SoftCVI: contrastive variational inference with self-generated soft labels

• arxiv url: http://arxiv.org/abs/2407.15687v1
• Date: Mon, 22 Jul 2024 14:54:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 14:40:28.507955
• Title: SoftCVI: contrastive variational inference with self-generated soft labels
• Title（参考訳）: ソフトCVI : 自己生成型ソフトラベルを用いた対照的な変分推論
• Authors: Daniel Ward, Mark Beaumont, Matteo Fasiolo,
• Abstract要約: ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 ソフトCVIの目標は、しばしば他のよく使われる変分目標よりも優れている。
• 参考スコア（独自算出の注目度）: 2.5398014196797614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating a distribution given access to its unnormalized density is pivotal in Bayesian inference, where the posterior is generally known only up to an unknown normalizing constant. Variational inference and Markov chain Monte Carlo methods are the predominant tools for this task; however, both methods are often challenging to apply reliably, particularly when the posterior has complex geometry. Here, we introduce Soft Contrastive Variational Inference (SoftCVI), which allows a family of variational objectives to be derived through a contrastive estimation framework. These objectives have zero variance gradient when the variational approximation is exact, without the need for specialized gradient estimators. The approach involves parameterizing a classifier in terms of the variational distribution, which allows the inference task to be reframed as a contrastive estimation problem, aiming to identify a single true posterior sample among a set of samples. Despite this framing, we do not require positive or negative samples, but rather learn by sampling the variational distribution and computing ground truth soft classification labels from the unnormalized posterior itself. We empirically investigate the performance on a variety of Bayesian inference tasks, using both using both simple (e.g. normal) and expressive (normalizing flow) variational distributions. We find that SoftCVI objectives often outperform other commonly used variational objectives.
• Abstract（参考訳）: 正規化されていない密度に与えられた分布を推定することはベイズ推論において重要であり、後者は一般に未知の正規化定数までしか知られていない。 変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールであるが、後部が複雑な幾何学を持つ場合、どちらの手法も確実に適用することはしばしば困難である。 本稿では,ソフトコントラスト変分推論(SoftCVI)を紹介した。 これらの目的は、偏差近似が正確であるときに、特殊勾配推定器を必要とせずに、偏差勾配をゼロにする。 このアプローチは、差分分布の観点から分類器をパラメータ化することで、推論タスクを対照的な推定問題として再編成することができ、サンプルの集合の中で単一の真の後続サンプルを特定することを目的としている。 このようなフレーミングにもかかわらず、正あるいは負のサンプルは必要とせず、変分分布をサンプリングし、非正規化後部自身から基底真実のソフト分類ラベルを抽出することで学習する。 単純(例:正規)と表現的(正規化フロー)の変動分布を用いて,様々なベイズ推論タスクの性能を実験的に検討した。 We found that SoftCVI objectives many number of other common used variational objectives。

関連論文リスト

• Enhancing Anomaly Detection Generalization through Knowledge Exposure: The Dual Effects of Augmentation [9.740752855568202]
  異常検出では、標準から逸脱し、頻繁に発生するデータセット内のインスタンスを識別する。 現在のベンチマークでは、実際のシナリオと一致しない通常のデータの多様性の低い方法を好む傾向にある。 本稿では,概念力学の理解に外部知識を統合した新しいテストプロトコルと知識公開(KE)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-15T12:37:36Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Natural Gradient Variational Inference with Gaussian Mixture Models [1.7948767405202701]
  変分推論 (VI) 法は、最適化を用いて単純な家族から選択される分布と後部を近似する。 この研究の主な貢献は、自然勾配の変分推論とガウスの混合に対する更新規則の集合である。
  論文  参考訳（メタデータ） (2021-11-15T20:04:32Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows [10.406659081400354]
  変分近似は、サンプリングによって推定される予測の勾配に基づく最適化に基づいている。 カテゴリー分布のGumbel-Softmaxのような連続緩和は勾配に基づく最適化を可能にするが、離散的な観測のために有効な確率質量を定義しない。 実際には、緩和の量を選択することは困難であり、望ましいものと一致しない目的を最適化する必要がある。
  論文  参考訳（メタデータ） (2020-06-28T10:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。