論文の概要: Relay Variational Inference: A Method for Accelerated Encoderless VI

• arxiv url: http://arxiv.org/abs/2110.13422v1
• Date: Tue, 26 Oct 2021 05:48:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 13:22:12.547917
• Title: Relay Variational Inference: A Method for Accelerated Encoderless VI
• Title（参考訳）: リレー変分推論:エンコーダレスVIの高速化手法
• Authors: Amir Zadeh, Santiago Benoit, Louis-Philippe Morency
• Abstract要約: Relay VIは、エンコーダレスVIの収束と性能を劇的に改善するフレームワークである。 本稿では、収束速度、損失、表現力、欠落データ計算におけるRVIの有効性について検討する。
• 参考スコア（独自算出の注目度）: 47.72653430712088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Inference (VI) offers a method for approximating intractable likelihoods. In neural VI, inference of approximate posteriors is commonly done using an encoder. Alternatively, encoderless VI offers a framework for learning generative models from data without encountering suboptimalities caused by amortization via an encoder (e.g. in presence of missing or uncertain data). However, in absence of an encoder, such methods often suffer in convergence due to the slow nature of gradient steps required to learn the approximate posterior parameters. In this paper, we introduce Relay VI (RVI), a framework that dramatically improves both the convergence and performance of encoderless VI. In our experiments over multiple datasets, we study the effectiveness of RVI in terms of convergence speed, loss, representation power and missing data imputation. We find RVI to be a unique tool, often superior in both performance and convergence speed to previously proposed encoderless as well as amortized VI models (e.g. VAE).
• Abstract（参考訳）: 変分推論(vi)は、難解な確率を近似する方法を提供する。 ニューラルVIでは、近似後部の推論は通常エンコーダを用いて行われる。 あるいは、エンコーダレスVIは、エンコーダ(例えば、欠落または不確実なデータが存在する場合)による償却によって生じる過度な最適化に遭遇することなく、データから生成モデルを学習するためのフレームワークを提供する。 しかし、エンコーダが存在しない場合、近似後続パラメータの学習に必要な勾配ステップの遅い性質のため、このような手法は収束することが多い。 本稿では,エンコーダレスVIの収束と性能を劇的に向上させるフレームワークであるRelay VI(RVI)を紹介する。 複数のデータセットに対する実験では、収束速度、損失、表現力、欠落データ計算の観点からRVIの有効性を検討した。 rviは,従来提案していたエンコーダレスモデルやvaeモデル(amortized vi model)よりも性能と収束速度に優れる,ユニークなツールであると考えられる。

関連論文リスト

• ASPIRE: Iterative Amortized Posterior Inference for Bayesian Inverse Problems [0.974963895316339]
  機械学習と変分推論(VI)の新たな進歩は、例から学ぶことによって計算障壁を下げた。 異なるトレードオフを表す2つのVIパラダイムが登場した。 我々は,同じネットワークアーキテクチャとトレーニングデータを用いて,償却後部を反復的に改善するソリューションを提案する。
  論文  参考訳（メタデータ） (2024-05-08T20:03:12Z)
• Efficient Training of Probabilistic Neural Networks for Survival Analysis [0.6437284704257459]
  変分推論(VI)は、ディープラーニングモデルにおけるベイズ推定と不確実性推定によく用いられる手法である。 これは、不確実性を表すためにトレーニング可能なパラメータの数を2倍にするため、計算コストがかかる。 本研究では,モデル複雑性のオーバーヘッドを増大させることなく,大規模データセットの深層確率的生存モデルをトレーニングする方法を検討する。
  論文  参考訳（メタデータ） (2024-04-09T16:10:39Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• DynImp: Dynamic Imputation for Wearable Sensing Data Through Sensory and Temporal Relatedness [78.98998551326812]
  従来の手法では、データの時系列ダイナミクスと、異なるセンサーの特徴の関連性の両方をめったに利用していない、と我々は主張する。 我々はDynImpと呼ばれるモデルを提案し、特徴軸に沿って近接する隣人と異なる時間点の欠如を扱う。 本手法は, 関連センサのマルチモーダル性特性を活かし, 履歴時系列のダイナミックスから学習し, 極端に欠落した状態でデータを再構築することができることを示す。
  論文  参考訳（メタデータ） (2022-09-26T21:59:14Z)
• Amortized Variational Inference: A Systematic Review [0.0]
  変分推論(VI)の中核となる原理は、複雑な後続確率密度の統計的推論問題を、トラクタブルな最適化問題に変換することである。 従来のVIアルゴリズムは大規模データセットには拡張性がなく、データポイントのアウトオブバウンドを容易に推測できない。 ブラックボックスやアモールタイズVIのようなこの分野の最近の進歩は、これらの問題に対処するのに役立っている。
  論文  参考訳（メタデータ） (2022-09-22T09:45:10Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Missing Value Imputation on Multidimensional Time Series [16.709162372224355]
  本稿では,多次元時系列データセットにおける深層学習手法DeepMVIを提案する。 DeepMVIは、時系列に沿った細粒度と粗粒度パターンと、カテゴリ次元にわたる関連するシリーズのトレンドを組み合わせる。 実験の結果、DeepMVIの精度は著しく向上し、半数以上のケースで50%以上のエラーが削減された。
  論文  参考訳（メタデータ） (2021-03-02T09:55:05Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Meta-Learning Divergences of Variational Inference [49.164944557174294]
  変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。 本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。 提案手法はガウス混合分布近似の標準VIより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-06T17:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。