論文の概要: Autoregressivity in the Latent Space of a GP-VAE Language Model: An Empirical Ablation Study

• arxiv url: http://arxiv.org/abs/2512.24102v1
• Date: Tue, 30 Dec 2025 09:23:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.342287
• Title: Autoregressivity in the Latent Space of a GP-VAE Language Model: An Empirical Ablation Study
• Title（参考訳）: GP-VAE言語モデルの潜在空間における自己回帰性:経験的アブレーション研究
• Authors: Yves Ruffenach,
• Abstract要約: 言語モデルは一般的にトークンに対する自己回帰的分解に依存します。 我々は,潜伏自己回帰が果たす役割について,体系的なアブレーション研究を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper provides an ablation-based analysis of latent autoregression in GP-VAE models, building upon our previous work introducing the architecture. Language models typically rely on an autoregressive factorization over tokens. In contrast, our prior work proposed shifting sequential structure to the latent space through a causal Gaussian process, while using a non-autoregressive decoder. Here, we conduct a systematic ablation study of the role played by latent autoregression. We compare (i) a full GP-VAE model with autoregressive latent dynamics, (ii) a non-autoregressive ablation in which latent variables are independent, and (iii) a standard token-level autoregressive Transformer. Our results show that, within the considered regime (medium-scale corpora and short training contexts), latent autoregression induces latent trajectories that are significantly more compatible with the Gaussian-process prior and exhibit greater long-horizon stability. In contrast, removing autoregression leads to degraded latent structure and unstable long-range behavior. These findings highlight the role of latent autoregression as an effective mechanism for organizing long-range structure, while remaining complementary to token-level autoregressive modeling. They should be interpreted as an empirical analysis of representational structure rather than as a proposal for a new architecture.
• Abstract（参考訳）: 本稿では, GP-VAEモデルにおける潜時自己回帰のアブレーションに基づく解析を行い, アーキテクチャの導入について述べる。 言語モデルは一般的にトークンに対する自己回帰的分解に依存します。 対照的に、我々の以前の研究は、非自己回帰デコーダを使用しながら、因果ガウス過程を通じて逐次構造を潜在空間にシフトすることを提案した。 ここでは,潜伏自己回帰が果たす役割について,体系的なアブレーション研究を行う。 比較 (i)自己回帰潜在力学を持つ完全GP-VAEモデル (ii)潜伏変数が独立な非自己回帰的アブレーション (iii)標準のトークンレベルの自己回帰変換器。 以上の結果から,検討された体制(中規模コーパスと短期訓練コンテキスト)において,潜時自己回帰はガウス過程と相容れない潜在軌道を誘導し,より長期安定性を示すことが明らかとなった。 対照的に、自己回帰の除去は、劣化した潜伏構造と不安定な長距離挙動をもたらす。 これらの知見は,トークンレベルの自己回帰モデリングを補完しながら,長期構造を組織化するための効果的なメカニズムとして,潜在自己回帰が果たす役割を浮き彫りにした。 それらは新しいアーキテクチャの提案というよりは、表現構造の実証的な分析として解釈されるべきである。

関連論文リスト

• Fast Autoregressive Models for Continuous Latent Generation [49.079819389916764]
  自己回帰モデルは、特にNLPにおいて、シーケンシャルなデータ生成において顕著な成功を収めている。 最近の研究で、マスク付き自己回帰モデル(MAR)は拡散ヘッドを用いて連続空間内のトーケン分布をモデル化することによって量子化をバイパスする。 本稿では,MARの拡散ヘッドを軽量ショートカットヘッドに置き換える新しいフレームワークであるFast AutoRegressive Model (FAR)を提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:57:08Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• State-space models can learn in-context by gradient descent [1.3087858009942543]
  状態空間モデルは、勾配に基づく学習を実行し、変換器と全く同じ方法で、文脈内学習に使用することができることを示す。 具体的には、1つの構造化状態空間モデル層が乗算入力と出力ゲーティングで拡張され、暗黙線形モデルの出力を再現できることを証明した。 また、状態空間モデルと線形自己意識の関係と、文脈内で学習する能力に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2024-10-15T15:22:38Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Probabilistic Traffic Forecasting with Dynamic Regression [15.31488551912888]
  本稿では,交通予測における誤り過程の学習を取り入れた動的回帰(DR)フレームワークを提案する。 このフレームワークは、行列構造自己回帰(AR)モデルを用いてベースモデルのエラー系列をモデル化することにより、時間独立の仮定を緩和する。 新たに設計された損失関数は、非等方的誤差項の確率に基づいており、モデルがベースモデルの元の出力を保持しながら確率的予測を生成することができる。
  論文  参考訳（メタデータ） (2023-01-17T01:12:44Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Self-Reflective Variational Autoencoder [21.054722609128525]
  変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。 自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。 実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
  論文  参考訳（メタデータ） (2020-07-10T05:05:26Z)
• Variational Auto-Regressive Gaussian Processes for Continual Learning [17.43751039943161]
  連続学習におけるシーケンシャルなタスクを解くための原則的後続更新機構を開発する。 スケーラブルな後続に対するスパース誘導点近似を頼りに、新しい自己回帰変動分布を提案する。 平均的な予測エントロピー推定は、VAR-GPが破滅的な忘れを防いでいることを示している。
  論文  参考訳（メタデータ） (2020-06-09T19:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。