論文の概要: Nonlinear Dynamic Factor Analysis With a Transformer Network

• arxiv url: http://arxiv.org/abs/2601.12039v1
• Date: Sat, 17 Jan 2026 12:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.435265
• Title: Nonlinear Dynamic Factor Analysis With a Transformer Network
• Title（参考訳）: 変圧器ネットワークを用いた非線形動的因子解析
• Authors: Oliver Snellman,
• Abstract要約: 従来の因子モデルを事前情報として利用することにより、小さなデータセットのパフォーマンスを大幅に改善する。 モンテカルロの実験は、トランスフォーマーが線形因子モデルよりも精度が高いことを示唆している。 実証的な応用は、Transformerを使って米国の実経済活動の一致した指標を構築することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paper develops a Transformer architecture for estimating dynamic factors from multivariate time series data under flexible identification assumptions. Performance on small datasets is improved substantially by using a conventional factor model as prior information via a regularization term in the training objective. The results are interpreted with Attention matrices that quantify the relative importance of variables and their lags for the factor estimate. Time variation in Attention patterns can help detect regime switches and evaluate narratives. Monte Carlo experiments suggest that the Transformer is more accurate than the linear factor model, when the data deviate from linear-Gaussian assumptions. An empirical application uses the Transformer to construct a coincident index of U.S. real economic activity.
• Abstract（参考訳）: 本稿では,多変量時系列データから動的因子を柔軟に同定した上で推定するトランスフォーマーアーキテクチャを提案する。 トレーニング対象における正規化項を経由した事前情報として,従来の因子モデルを用いて,小規模なデータセットの性能を大幅に改善する。 結果は、変数の相対的重要性と因子推定のラグを定量化する注意行列で解釈される。 注意パターンの時間変化は、状態スイッチを検出し、物語を評価するのに役立つ。 モンテカルロの実験は、トランスフォーマーが線形・ガウス的仮定から逸脱したデータであるとき、線形因子モデルよりも精度が高いことを示唆している。 実証的な応用は、Transformerを使って米国の実経済活動の一致した指標を構築することである。

関連論文リスト

• Transformer Is Inherently a Causal Learner [27.79148022495734]
  自己回帰的に訓練されたトランスフォーマーは,時間遅れの因果構造を自然に符号化することを示す。 この関係を理論的に標準的な識別可能性条件下で証明する。 このアプローチは最先端の発見アルゴリズムの性能を大幅に上回る。
  論文  参考訳（メタデータ） (2026-01-09T09:10:04Z)
• Exact Learning Dynamics of In-Context Learning in Linear Transformers and Its Application to Non-Linear Transformers [1.7034813545878589]
  トランスフォーマーモデルは、顕著なインコンテキスト学習(ICL)を示す 我々の研究は、ICLの正確な動的モデルを提供し、複雑なトランスフォーマートレーニングを解析するための理論的基盤ツールを提供する。
  論文  参考訳（メタデータ） (2025-04-17T13:05:33Z)
• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• EDformer: Embedded Decomposition Transformer for Interpretable Multivariate Time Series Predictions [4.075971633195745]
  本稿では,時系列予測タスクのための組込みトランス「EDformer」を提案する。 基本要素を変更することなく、Transformerアーキテクチャを再利用し、その構成部品の有能な機能について検討する。 このモデルは、複雑な実世界の時系列データセットの精度と効率の観点から、最先端の予測結果を得る。
  論文  参考訳（メタデータ） (2024-12-16T11:13:57Z)
• Learning Linear Attention in Polynomial Time [127.14106124669645]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Distributed Lag Transformer based on Time-Variable-Aware Learning for Explainable Multivariate Time Series Forecasting [4.572747329528556]
  分散ラグ変換器(DLFormer)は、説明可能でスケーラブルな時系列モデルのための新しいトランスフォーマーアーキテクチャである。 DLFormerは分散ラグ埋め込みと時間変数認識学習(TVAL)機構を統合し、局所的およびグローバルな時間的依存関係の両方を構造的にモデル化する。 実験により、DLFormerは、変数の賢さと時間的ダイナミクスに対する堅牢で解釈可能な洞察を提供しながら、予測精度を達成することが示された。
  論文  参考訳（メタデータ） (2024-08-29T20:39:54Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Grounding inductive biases in natural images:invariance stems from variations in data [20.432568247732206]
  本研究では,実際のデータセットであるImageNetの変動要因について検討する。 標準的な拡張は、翻訳とスケールの正確な組み合わせに依存していることを示す。 ImageNetの変動の主な要因は外見に大きく関係していることがわかりました。
  論文  参考訳（メタデータ） (2021-06-09T14:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。