論文の概要: Probabilistic Learning and Generation in Deep Sequence Models

• arxiv url: http://arxiv.org/abs/2603.00888v1
• Date: Sun, 01 Mar 2026 03:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.398925
• Title: Probabilistic Learning and Generation in Deep Sequence Models
• Title（参考訳）: 深部系列モデルの確率論的学習と生成
• Authors: Wenlong Chen,
• Abstract要約: 確率モデルは、確率の規則で観測されていない変数に関連する不確実性を定量化する。 ベイズ法の主なボトルネックは、特にディープニューラルネットワークに適用された場合、事前仕様と近似品質である。 この論文は、DSMの帰納バイアスを利用して確率的推論や構造を設計し、DSMと確率的モデルの間のギャップを埋める。
• 参考スコア（独自算出の注目度）: 6.057946859550886
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite exceptional predictive performance of Deep sequence models (DSMs), the main concern of their deployment centers around the lack of uncertainty awareness. In contrast, probabilistic models quantify the uncertainty associated with unobserved variables with rules of probability. Notably, Bayesian methods leverage Bayes' rule to express our belief of unobserved variables in a principled way. Since exact Bayesian inference is computationally infeasible at scale, approximate inference is required in practice. Two major bottlenecks of Bayesian methods, especially when applied in deep neural networks, are prior specification and approximation quality. In Chapter 3 & 4, we investigate how the architectures of DSMs themselves can be informative for the design of priors or approximations in probabilistic models. We first develop an approximate Bayesian inference method tailored to the Transformer based on the similarity between attention and sparse Gaussian process. Next, we exploit the long-range memory preservation capability of HiPPOs (High-order Polynomial Projection Operators) to construct an interdomain inducing point for Gaussian process, which successfully memorizes the history in online learning. In addition to the progress of DSMs in predictive tasks, sequential generative models consisting of a sequence of latent variables are popularized in the domain of deep generative models. Inspired by the explicit self-supervised signals for these latent variables in diffusion models, in Chapter 5, we explore the possibility of improving other generative models with self-supervision for their sequential latent states, and investigate desired probabilistic structures over them. Overall, this thesis leverages inductive biases in DSMs to design probabilistic inference or structure, which bridges the gap between DSMs and probabilistic models, leading to mutually reinforced improvement.
• Abstract（参考訳）: ディープシーケンスモデル(DSM)の異常な予測性能にもかかわらず、デプロイメントの主な関心事は不確実性に対する認識の欠如にある。 対照的に確率論的モデルは、観測されていない変数に関連する不確実性を確率の規則で定量化する。 特にベイズ法はベイズの法則を利用して、原則化された方法で観測されていない変数の信念を表現している。 正確なベイズ推論はスケールで計算不可能であるため、実際には近似推論が必要である。 ベイズ法の主なボトルネックは、特にディープニューラルネットワークに適用された場合、事前仕様と近似品質である。 第3章と第4章では、DSM自体のアーキテクチャが、確率モデルにおける事前設計や近似にどのように役立つかを検討する。 我々はまず,注目度とスパースガウス過程の類似性に基づいて,トランスフォーマーに適した近似ベイズ推定法を開発した。 次に,HiPPO(High-order Polynomial Projection Operators)の長期記憶機能を利用して,ガウス過程のドメイン間誘導点を構築し,オンライン学習の歴史を記憶する。 予測タスクにおけるDSMの進歩に加えて、潜伏変数列からなる逐次生成モデルは、深層生成モデルの領域で一般化されている。 拡散モデルにおけるこれらの潜伏変数に対する明示的な自己教師的信号から着想を得た第5章では、逐次潜伏状態に対する自己スーパービジョンによる他の生成モデルの改善の可能性について検討し、その上で望ましい確率的構造について検討する。 全体として、この論文はDSMの帰納バイアスを利用して確率的推論や構造を設計し、DSMと確率的モデルの間のギャップを橋渡しし、相互に強化された改善をもたらす。

関連論文リスト

• A Statistical Assessment of Amortized Inference Under Signal-to-Noise Variation and Distribution Shift [0.9590253747787195]
  近年、ディープニューラルネットワークと基礎モデルの成功により、統計モデリングの新しいパラダイムが生まれている。 償却推論では、近似した後方または予測を生成するニューラルネットワークをトレーニングするために、実質的な計算が前もって投資される。 償却推論の人気が高まっているにもかかわらず、その統計的解釈とベイズ推論におけるその役割はいまだに理解されていない。
  論文  参考訳（メタデータ） (2026-01-12T19:21:51Z)
• Elucidated Rolling Diffusion Models for Probabilistic Weather Forecasting [52.6508222408558]
  Eucidated Rolling Diffusion Models (ERDM)を紹介する。 ERDMはEucidated Diffusion Models (EDM) の原理的, 性能的設計とローリング予測構造を統一する最初のフレームワークである 2D Navier-StokesシミュレーションとERA5グローバル気象予報の1.5円解像度では、ERDMはキー拡散ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-06-24T21:44:31Z)
• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。 これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。 様々な最先端の繰り返しに比べて優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Exchangeable Sequence Models Quantify Uncertainty Over Latent Concepts [6.256239986541708]
  事前学習されたシーケンスモデルは、交換可能なデータポイントよりも確率論的推論が可能であることを示す。 シーケンスモデルは、典型的なベイズモデルとは異なる観測間の関係を学習する。 シーケンス予測損失が不確実性定量化の品質を制御することを示す。
  論文  参考訳（メタデータ） (2024-08-06T17:16:10Z)
• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• On the Efficient Marginalization of Probabilistic Sequence Models [3.5897534810405403]
  この論文は、複雑な確率的クエリに答えるために自己回帰モデルを使うことに焦点を当てている。 我々は,モデルに依存しない逐次モデルにおいて,境界化のための新しい,効率的な近似手法のクラスを開発する。
  論文  参考訳（メタデータ） (2024-03-06T19:29:08Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting [98.57851612518758]
  確率的時系列予測は、その歴史に基づいて将来の分布を推定する。 本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。 実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
  論文  参考訳（メタデータ） (2021-01-31T06:49:33Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。