論文の概要: Latent-Autoregressive GP-VAE Language Model
- arxiv url: http://arxiv.org/abs/2512.09535v2
- Date: Mon, 15 Dec 2025 08:05:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 15:10:29.157961
- Title: Latent-Autoregressive GP-VAE Language Model
- Title（参考訳）: 潜在自己回帰型GP-VAE言語モデル
- Authors: Yves Ruffenach,
- Abstract要約: 変分オートエンコーダ(VAE)に組み込まれたガウス過程(GP)に基づく完全遅延自己回帰スキームについて検討する。
この設定では、シーケンシャルなダイナミクスは観測空間から連続的な潜伏空間に転送されるが、言語生成は非自己回帰デコーダを通して並列である。
本報告では, 因果GP前処理, 構造化アモータイズ後処理, 正規化ELBOに基づくトレーニングプロトコルを含む, 完全な方法論の定式化について述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate a fully Latent AutoRegressive scheme based on a Gaussian Process (GP) integrated into a Variational Autoencoder (VAE). In this setting, sequential dynamics are transferred from the observation space to a continuous latent space, while linguistic generation remains parallel through a non-autoregressive decoder. We present a complete methodological formulation, including a causal GP prior, a structured amortized posterior, and a training protocol based on a regularized ELBO. Empirical evaluation, conducted within a deliberately constrained proof-of-concept (POC) framework, shows that the model can be trained stably and that the sequential and parallel sampling variants exhibit consistent behavior. Overall, the results suggest that part of the temporal structure in a language model can be supported by the probabilistic geometry of the latent space rather than by explicit neural operations.
- Abstract（参考訳）: 本稿では,変分オートエンコーダ(VAE)に組み込まれたガウス過程(GP)に基づく完全遅延自動回帰方式について検討する。
この設定では、シーケンシャルなダイナミクスは観測空間から連続的な潜伏空間に転送されるが、言語生成は非自己回帰デコーダを通して並列である。
本報告では, 因果GP先行, 構造化アモータイズ後部, 正規化ELBOに基づくトレーニングプロトコルを含む, 完全な方法論の定式化について述べる。
意図的に制約された概念実証(POC)フレームワーク内で実施された実証的評価は、モデルを安定的に訓練することができ、シーケンシャルおよび並列サンプリングのバリエーションが一貫した振る舞いを示すことを示す。
全体としては、言語モデルにおける時間構造の一部は、明示的なニューラル操作ではなく、潜在空間の確率幾何学によって支えられることが示唆されている。
関連論文リスト
- A Time-Series Foundation Model by Universal Delay Embedding [4.221753069966852]
本研究は,時系列予測に革命をもたらすための事前訓練された基礎モデルであるUniversal Delay Embedding (UDE)を紹介する。
観測データの動的表現としてのUDEは、ハンケル行列から2次元部分空間パッチを構成する。
特に、学習された動的表現とパッチからのクープマン作用素予測形式は例外的な解釈可能性を示す。
論文 参考訳（メタデータ） (2025-09-15T16:11:49Z) - Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。
ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
論文 参考訳（メタデータ） (2025-06-12T17:32:02Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Sequence Learning Using Equilibrium Propagation [2.3361887733755897]
Equilibrium Propagation (EP) は、バックプロパゲーションのような従来の学習フレームワークに代わる、強力でより生物学的な代替手段である。
現代のホップフィールドネットワークにおける最近の発展を利用して、エネルギーベースモデルをさらに理解し、EPを用いた複雑なシーケンス分類タスクのためのソリューションを開発する。
論文 参考訳（メタデータ） (2022-09-14T20:01:22Z) - Non-Gaussian Process Regression [0.0]
我々はGPフレームワークを時間変化したGPの新たなクラスに拡張し、重い尾の非ガウス的振る舞いの簡単なモデリングを可能にする。
このモデルに対するマルコフ連鎖モンテカルロ推論手順を示し、潜在的な利点を実証する。
論文 参考訳（メタデータ） (2022-09-07T13:08:22Z) - Variational Auto-Regressive Gaussian Processes for Continual Learning [17.43751039943161]
連続学習におけるシーケンシャルなタスクを解くための原則的後続更新機構を開発する。
スケーラブルな後続に対するスパース誘導点近似を頼りに、新しい自己回帰変動分布を提案する。
平均的な予測エントロピー推定は、VAR-GPが破滅的な忘れを防いでいることを示している。
論文 参考訳（メタデータ） (2020-06-09T19:23:57Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。