論文の概要: Manifold-Aware Temporal Domain Generalization for Large Language Models

• arxiv url: http://arxiv.org/abs/2602.11965v1
• Date: Thu, 12 Feb 2026 14:00:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.85715
• Title: Manifold-Aware Temporal Domain Generalization for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのマニフォールド対応時間領域一般化
• Authors: Yiheng Yao, Zekun Cai, Xinyuan Song, Hiroki Hill Kobayashi, Xuan Song, Ryosuke Shibasaki, Liang Zhao,
• Abstract要約: 大規模言語モデル(LLM)の実世界展開における時間分布シフト 本稿では,パラメータ効率のよい微調整条件下でのTDGの幾何学的再構成を提案する。 低階適応部分空間内の共有低次元多様体への時間的更新を制約するマニフォールド対応時間ロラ(MaT-LoRA)を提案する。
• 参考スコア（独自算出の注目度）: 17.44312895876345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal distribution shifts are pervasive in real-world deployments of Large Language Models (LLMs), where data evolves continuously over time. While Temporal Domain Generalization (TDG) seeks to model such structured evolution, existing approaches characterize model adaptation in the full parameter space. This formulation becomes computationally infeasible for modern LLMs. This paper introduces a geometric reformulation of TDG under parameter-efficient fine-tuning. We establish that the low-dimensional temporal structure underlying model evolution can be preserved under parameter-efficient reparameterization, enabling temporal modeling without operating in the ambient parameter space. Building on this principle, we propose Manifold-aware Temporal LoRA (MaT-LoRA), which constrains temporal updates to a shared low-dimensional manifold within a low-rank adaptation subspace, and models its evolution through a structured temporal core. This reparameterization dramatically reduces temporal modeling complexity while retaining expressive power. Extensive experiments on synthetic and real-world datasets, including scientific documents, news publishers, and review ratings, demonstrate that MaT-LoRA achieves superior temporal generalization performance with practical scalability for LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の現実的な展開では、時間とともにデータが継続的に進化する。 時間領域一般化(TDG)はそのような構造的進化をモデル化しようとするが、既存のアプローチは完全なパラメータ空間におけるモデル適応を特徴付ける。 この定式化は現代のLLMでは計算不可能となる。 本稿では,パラメータ効率のよい微調整条件下でのTDGの幾何学的再構成を提案する。 モデル進化の基盤となる低次元時間構造はパラメータ効率の再パラメータ化の下で保持できることを確立し, 周辺パラメータ空間を操作せずに時間的モデリングを可能にする。 この原理に基づいて、低ランク適応部分空間内の共有低次元多様体への時間的更新を制限し、その進化を構造化された時間的コアを通してモデル化するマニフォールド対応時空間ロラ(MaT-LoRA)を提案する。 この再パラメータ化は、表現力を維持しながら時間的モデリングの複雑さを劇的に減少させる。 科学文書、ニュース出版社、レビューレーティングなど、合成および実世界のデータセットに関する大規模な実験により、MAT-LoRAは、LLMの実用的な拡張性とともに、時間的一般化性能が優れたことを実証した。

関連論文リスト

• Scalable Spatio-Temporal SE(3) Diffusion for Long-Horizon Protein Dynamics [51.85385061275941]
  分子動力学(MD)シミュレーションは、タンパク質動力学研究のゴールドスタンダードのままである。 近年の生成モデルではシミュレーションの加速が期待できるが、長軸生成に苦慮している。 物理的に可塑性なタンパク質軌道をマイクロスケールの時間スケールで生成する拡張拡散モデルSTAR-MDを提案する。
  論文  参考訳（メタデータ） (2026-02-02T14:13:28Z)
• Enhancing few-shot time series forecasting with LLM-guided diffusion [12.286204074670236]
  専門分野における時系列予測は、データ可用性の制限によって制約されることが多い。 本稿では,大言語モデルの表現力と拡散モデルの生成能力を統合する新しい学習フレームワークLTSM-DIFFを提案する。 我々の研究はデータ不足下での時系列解析の新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-19T06:30:05Z)
• Learning Time-Aware Causal Representation for Model Generalization in Evolving Domains [50.66049136093248]
  動的因果要因と因果機構のドリフトを組み込んだ時間認識型構造因果モデル(SCM)を開発した。 本研究では,時間領域毎に最適な因果予測値が得られることを示す。 合成と実世界の両方のデータセットの結果から,SynCは時間的一般化性能に優れることが示された。
  論文  参考訳（メタデータ） (2025-06-21T14:05:37Z)
• LLM4FTS: Enhancing Large Language Models for Financial Time Series Prediction [0.0]
  従来の機械学習モデルは、制限されたモデル容量に制約された予測タスクに制限を示す。 我々は、学習可能なパッチセグメンテーションと動的ウェーブレット畳み込みモジュールによる時間的シーケンスモデリングを強化する新しいフレームワークLLM4FTS$を提案する。 実世界の金融データセットの実験は、このフレームワークの有効性を実証し、複雑な市場パターンを捉える上で優れたパフォーマンスを示し、ストックリターン予測の最先端結果を達成する。
  論文  参考訳（メタデータ） (2025-05-05T06:48:34Z)
• FACTS: A Factored State-Space Framework For World Modelling [24.08175276756845]
  本研究では,時空間空間モデリングのための新しいリカレントフレームワークであるtextbfFACTored textbfState-space (textbfFACTS) モデルを提案する。 FACTSフレームワークは、置換可能なメモリ表現を学習するルーティング機構を備えたグラフメモリを構築する。 汎用的な世界モデリング設計にもかかわらず、常に最先端のモデルに勝ったり、マッチする。
  論文  参考訳（メタデータ） (2024-10-28T11:04:42Z)
• On latent dynamics learning in nonlinear reduced order modeling [0.6249768559720122]
  本稿では,パラメータ化非線形時間依存PDEの次数モデリングのための潜在力学モデル(LDM)の数学的枠組みを提案する。 フルオーダーモデル (FOM) 解の LDM 近似に対する誤差と安定性の推定を導出するために, 時間連続的な設定を用いる。 ディープニューラルネットワークは離散LDM成分を近似し、FOMに関して有界近似誤差を提供する。
  論文  参考訳（メタデータ） (2024-08-27T16:35:06Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。