論文の概要: SoftCVI: Contrastive variational inference with self-generated soft labels

• arxiv url: http://arxiv.org/abs/2407.15687v2
• Date: Tue, 10 Sep 2024 18:46:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 20:32:18.232658
• Title: SoftCVI: Contrastive variational inference with self-generated soft labels
• Title（参考訳）: SoftCVI:自己生成型ソフトラベルとの対比変動推論
• Authors: Daniel Ward, Mark Beaumont, Matteo Fasiolo,
• Abstract要約: 変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
• 参考スコア（独自算出の注目度）: 2.5398014196797614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating a distribution given access to its unnormalized density is pivotal in Bayesian inference, where the posterior is generally known only up to an unknown normalizing constant. Variational inference and Markov chain Monte Carlo methods are the predominant tools for this task; however, both are often challenging to apply reliably, particularly when the posterior has complex geometry. Here, we introduce Soft Contrastive Variational Inference (SoftCVI), which allows a family of variational objectives to be derived through a contrastive estimation framework. The approach parameterizes a classifier in terms of a variational distribution, reframing the inference task as a contrastive estimation problem aiming to identify a single true posterior sample among a set of samples. Despite this framing, we do not require positive or negative samples, but rather learn by sampling the variational distribution and computing ground truth soft classification labels from the unnormalized posterior itself. The objectives have zero variance gradient when the variational approximation is exact, without the need for specialized gradient estimators. We empirically investigate the performance on a variety of Bayesian inference tasks, using both simple (e.g. normal) and expressive (normalizing flow) variational distributions. We find that SoftCVI can be used to form objectives which are stable to train and mass-covering, frequently outperforming inference with other variational approaches.
• Abstract（参考訳）: 正規化されていない密度に与えられた分布を推定することはベイズ推論において重要であり、後者は一般に未知の正規化定数までしか知られていない。 変分推論とマルコフ連鎖モンテカルロ法(英語版)(Markov chain Monte Carlo method)は、このタスクの主要なツールであるが、後部が複素幾何を持つ場合、どちらも確実に適用することはしばしば困難である。 本稿では,ソフトコントラスト変分推論(SoftCVI)を紹介した。 提案手法は, 変分分布の観点から分類器をパラメータ化し, 推論タスクを, サンプル集合中の単一の真の後続サンプルを特定することを目的としたコントラスト推定問題とみなす。 このようなフレーミングにもかかわらず、正あるいは負のサンプルは必要とせず、変分分布をサンプリングし、非正規化後部自身から基底真実のソフト分類ラベルを抽出することで学習する。 目的は、偏差近似が正確であるとき、特殊勾配推定器を必要とせず、偏差勾配をゼロとする。 単純(例:正規)と表現的(正規化フロー)の変動分布を用いて,様々なベイズ推論タスクの性能を実験的に検討した。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。

関連論文リスト

• Enhancing Anomaly Detection Generalization through Knowledge Exposure: The Dual Effects of Augmentation [9.740752855568202]
  異常検出では、標準から逸脱し、頻繁に発生するデータセット内のインスタンスを識別する。 現在のベンチマークでは、実際のシナリオと一致しない通常のデータの多様性の低い方法を好む傾向にある。 本稿では,概念力学の理解に外部知識を統合した新しいテストプロトコルと知識公開(KE)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-15T12:37:36Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Reliable amortized variational inference with physics-based latent distribution correction [0.4588028371034407]
  ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。 このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。 補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
  論文  参考訳（メタデータ） (2022-07-24T02:38:54Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows [10.406659081400354]
  変分近似は、サンプリングによって推定される予測の勾配に基づく最適化に基づいている。 カテゴリー分布のGumbel-Softmaxのような連続緩和は勾配に基づく最適化を可能にするが、離散的な観測のために有効な確率質量を定義しない。 実際には、緩和の量を選択することは困難であり、望ましいものと一致しない目的を最適化する必要がある。
  論文  参考訳（メタデータ） (2020-06-28T10:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。