論文の概要: Sequential Function-Space Variational Inference via Gaussian Mixture Approximation

• arxiv url: http://arxiv.org/abs/2503.07114v1
• Date: Mon, 10 Mar 2025 09:38:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:08.073801
• Title: Sequential Function-Space Variational Inference via Gaussian Mixture Approximation
• Title（参考訳）: ガウス混合近似による連続関数-空間変動推定
• Authors: Menghao Waiyan William Zhu, Pengcheng Hao, Ercan Engin Kuruoğlu,
• Abstract要約: 逐次関数空間変動推論(英: Sequential function-space variational inference、SFSVI)は、変分推論に基づく連続学習法である。 ガウス混合変分分布を用いたSFSVI法を提案する。 最終平均精度の観点からは、ガウス混合法はガウス法よりも優れた性能を示し、確率に着目した手法は先行する手法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 0.6827423171182154
• License:
• Abstract: Continual learning is learning from a sequence of tasks with the aim of learning new tasks without forgetting old tasks. Sequential function-space variational inference (SFSVI) is a continual learning method based on variational inference which uses a Gaussian variational distribution to approximate the distribution of the outputs of a finite number of selected inducing points. Since the posterior distribution of a neural network is multi-modal, a Gaussian distribution could only match one mode of the posterior distribution, and a Gaussian mixture distribution could be used to better approximate the posterior distribution. We propose an SFSVI method which uses a Gaussian mixture variational distribution. We also compare different types of variational inference methods with and without a fixed pre-trained feature extractor. We find that in terms of final average accuracy, Gaussian mixture methods perform better than Gaussian methods and likelihood-focused methods perform better than prior-focused methods.
• Abstract（参考訳）: 継続的な学習は、古いタスクを忘れずに新しいタスクを学ぶことを目的として、一連のタスクから学習する。 連続関数空間変分推論(英: Sequential function-space variational inference,SFSVI)は、ガウス変分分布を用いて有限個の選択された帰納点の出力の分布を近似する変分推論に基づく連続的な学習法である。 ニューラルネットワークの後部分布は多モードであるため, ガウス分布は後部分布の1つのモードに一致し, ガウス混合分布は後部分布をよりよく近似することができる。 ガウス混合変分分布を用いたSFSVI法を提案する。 また、様々な種類の変分推論手法と、固定された事前訓練された特徴抽出器とを比較した。 最終平均精度の観点からは、ガウス混合法はガウス法よりも優れた性能を示し、確率に着目した手法は先行する手法よりも優れた性能を示した。

関連論文リスト

• Sampling in High-Dimensions using Stochastic Interpolants and Forward-Backward Stochastic Differential Equations [8.509310102094512]
  本稿では,高次元確率分布からサンプルを抽出する拡散型アルゴリズムのクラスを提案する。 我々の手法は、確率密度の時間インデクシングされたコレクションを定義するための補間フレームワークに依存している。 提案アルゴリズムは,従来の手法では処理が困難であった分布から,効果的にサンプルを抽出できることを実証する。
  論文  参考訳（メタデータ） (2025-02-01T07:27:11Z)
• MGF: Mixed Gaussian Flow for Diverse Trajectory Prediction [72.70572835589158]
  本稿では,軌道予測のための正規化フローモデルに対して,混合ガウス前駆体を構築することを提案する。 提案手法は,一般的な UCY/ETH および SDD データセットにおける軌道アライメントと多様性の評価において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T15:48:55Z)
• Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
  本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。 提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T09:40:19Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Natural Gradient Variational Inference with Gaussian Mixture Models [1.7948767405202701]
  変分推論 (VI) 法は、最適化を用いて単純な家族から選択される分布と後部を近似する。 この研究の主な貢献は、自然勾配の変分推論とガウスの混合に対する更新規則の集合である。
  論文  参考訳（メタデータ） (2021-11-15T20:04:32Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。