論文の概要: Importance sampling for online variational learning
- arxiv url: http://arxiv.org/abs/2402.02859v1
- Date: Mon, 5 Feb 2024 10:18:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 16:59:12.870456
- Title: Importance sampling for online variational learning
- Title（参考訳）: オンライン変分学習における重要度サンプリング
- Authors: Mathis Chagneux (IP Paris), Pierre Gloaguen (UBS), Sylvain Le Corff
(LPSM (UMR\_8001), SU), Jimmy Olsson (KTH)
- Abstract要約: 本稿では,状態空間モデルにおけるオンライン変動推定について述べる。
我々は,モンテカルロの重要サンプリングとともに変動的アプローチを用いて,スムージング分布,すなわち観測された潜在状態の連立分布の学習に焦点をあてる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article addresses online variational estimation in state-space models.
We focus on learning the smoothing distribution, i.e. the joint distribution of
the latent states given the observations, using a variational approach together
with Monte Carlo importance sampling. We propose an efficient algorithm for
computing the gradient of the evidence lower bound (ELBO) in the context of
streaming data, where observations arrive sequentially. Our contributions
include a computationally efficient online ELBO estimator, demonstrated
performance in offline and true online settings, and adaptability for computing
general expectations under joint smoothing distributions.
- Abstract（参考訳）: 本稿では,状態空間モデルにおけるオンライン変動推定について述べる。
我々は,モンテカルロの重要サンプリングとともに変動的アプローチを用いて,スムージング分布,すなわち観測された潜在状態の連立分布の学習に焦点をあてる。
本研究では,観測が逐次到着するストリーミングデータの文脈において,エビデンス下限(elbo)の勾配を計算するための効率的なアルゴリズムを提案する。
私たちのコントリビューションには、計算効率のよいオンラインELBO推定器、オフラインおよび真のオンライン設定におけるパフォーマンスの実証、共同平滑な分布下でのコンピューティング一般への適応性などが含まれます。
関連論文リスト
- Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach [14.958884168060097]
オンライン自己学習によるテスト時間適応のための新しい手法を提案する。
提案手法は,マーチンガレットとオンライン学習の概念を組み合わせることで,分布変化に反応可能な検出ツールを構築する。
実験結果から, 分散シフト時のテスト時間精度は, 精度とキャリブレーションを保ちながら向上することが示された。
論文 参考訳（メタデータ） (2024-08-14T12:40:57Z) - Revisiting Dynamic Evaluation: Online Adaptation for Large Language
Models [88.47454470043552]
我々は、動的評価(動的評価)としても知られる、テスト時の言語モデルのパラメータをオンラインで微調整する問題を考察する。
オンライン適応はパラメータを時間的に変化する状態に変換し、メモリを重み付けしたコンテキスト長拡張の形式を提供する。
論文 参考訳（メタデータ） (2024-03-03T14:03:48Z) - Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。
提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
論文 参考訳（メタデータ） (2024-02-13T09:40:19Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。
提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
論文 参考訳（メタデータ） (2023-06-14T08:00:49Z) - Particle-based Online Bayesian Sampling [24.290436348629452]
粒子の集合を用いて近似分布を表すオンライン粒子に基づく変分推論(OPVI)アルゴリズムについて検討する。
近似の利用による勾配誤差を低減するために, ばらつきを低減するために, バッチサイズを増大させるサブ線形を含む。
実験の結果,提案アルゴリズムは既存のベイズサンプリング手法をオンライン環境に適用するよりも優れた結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-02-28T17:46:32Z) - A Deep Value-network Based Approach for Multi-Driver Order Dispatching [55.36656442934531]
そこで本研究では,注文発送のための深層強化学習に基づくソリューションを提案する。
DiDiの配車プラットフォーム上で大規模なオンラインA/Bテストを実施している。
その結果,CVNetは近年提案されているディスパッチ手法よりも一貫して優れていた。
論文 参考訳（メタデータ） (2021-06-08T16:27:04Z) - CRPS Learning [0.0]
組み合わせと集約技術は予測精度を大幅に向上させることができる。
連続的なランク付け確率スコア(CRPS)に関して最適化するポイントワイズオンラインアグリゲーションアルゴリズムについて論じる。
論文 参考訳（メタデータ） (2021-02-01T16:54:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。