論文の概要: Integrating Inductive Biases in Transformers via Distillation for Financial Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2603.16985v1
• Date: Tue, 17 Mar 2026 17:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.322481
• Title: Integrating Inductive Biases in Transformers via Distillation for Financial Time Series Forecasting
• Title（参考訳）: ファイナンシャル時系列予測のための蒸留によるトランスフォーマーのインダクティブビアーゼの統合
• Authors: Yu-Chen Den, Kuan-Yu Chen, Kendro Vincent, Darby Tien-Hao Chang,
• Abstract要約: TIPS(Transformer with Inductive Prior Synthesis)は,多種多様な帰納バイアスを統一された変換器内で合成する知識蒸留フレームワークである。 TIPSは4つの主要株式市場で最先端のパフォーマンスを達成している。 これらの結果は、非定常金融時系列におけるロバストな一般化のための状態依存帰納的バイアス利用の重要性を強調した。
• 参考スコア（独自算出の注目度）: 1.5002600992095827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models have been widely adopted for time-series forecasting due to their high representational capacity and architectural flexibility. However, many Transformer variants implicitly assume stationarity and stable temporal dynamics -- assumptions routinely violated in financial markets characterized by regime shifts and non-stationarity. Empirically, state-of-the-art time-series Transformers often underperform even vanilla Transformers on financial tasks, while simpler architectures with distinct inductive biases, such as CNNs and RNNs, can achieve stronger performance with substantially lower complexity. At the same time, no single inductive bias dominates across markets or regimes, suggesting that robust financial forecasting requires integrating complementary temporal priors. We propose TIPS (Transformer with Inductive Prior Synthesis), a knowledge distillation framework that synthesizes diverse inductive biases -- causality, locality, and periodicity -- within a unified Transformer. TIPS trains bias-specialized Transformer teachers via attention masking, then distills their knowledge into a single student model with regime-dependent alignment across inductive biases. Across four major equity markets, TIPS achieves state-of-the-art performance, outperforming strong ensemble baselines by 55%, 9%, and 16% in annual return, Sharpe ratio, and Calmar ratio, while requiring only 38% of the inference-time computation. Further analyses show that TIPS generates statistically significant excess returns beyond both vanilla Transformers and its teacher ensembles, and exhibits regime-dependent behavioral alignment with classical architectures during their profitable periods. These results highlight the importance of regime-dependent inductive bias utilization for robust generalization in non-stationary financial time series.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、高い表現能力とアーキテクチャの柔軟性のために、時系列予測に広く採用されている。 しかし、トランスフォーマーの変種の多くは、定常性と安定した時間的ダイナミクスを暗黙的に仮定している。 実証的に言えば、最先端の時系列トランスフォーマーは、金融タスクにおいてバニラトランスフォーマーでさえパフォーマンスが劣ることが多いが、CNNやRNNのような異なる帰納バイアスを持つより単純なアーキテクチャは、かなり少ない複雑さでより強力なパフォーマンスを達成することができる。 同時に、市場や政権全体では単一の帰納的バイアスが支配的ではなく、堅牢な財務予測には補完的な時間的先例を統合する必要があることを示唆している。 我々は,多種多様な帰納バイアス(因果性,局所性,周期性)を統一的な変換器内で合成する知識蒸留フレームワークであるTIPS(Transformer with Inductive Prior Synthesis)を提案する。 TIPSは、アテンションマスキングを通じてバイアス特異的トランスフォーマーの教師を訓練し、その知識をインダクティブバイアスにまたがる状態依存的なアライメントを持つ単一学生モデルに抽出する。 4つの主要株式市場全体で、TIPSは最先端のパフォーマンスを達成し、強いアンサンブルベースラインを55%、9%、そして16%のリターン、シャープ比、カルマー比で上回り、推論時間計算の38%しか必要としない。 さらに分析したところ、TIPSはバニラトランスフォーマーとその教師のアンサンブルを超えて統計的に有意な過剰なリターンを生み出し、古典建築の黒字期における状態依存的な行動アライメントを示すことが示された。 これらの結果は、非定常金融時系列におけるロバストな一般化のための状態依存帰納的バイアス利用の重要性を強調した。

関連論文リスト

• StockBot 2.0: Vanilla LSTMs Outperform Transformer-based Forecasting for Stock Prices [0.0]
  本稿では,近代的注意に基づく,畳み込み,反復的な時系列予測モデルを体系的に評価するStockBotアーキテクチャを提案する。 慎重に構築されたバニラLSTMは、予測精度とより安定した購買・販売決定を一貫して達成する。
  論文  参考訳（メタデータ） (2026-01-01T04:09:51Z)
• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Enhanced Momentum with Momentum Transformers [0.46498278084317696]
  私たちは、Trding with the Momentum Transformer: An Intelligent and Interpretable Architecture to equitiesという論文で紹介されたアイデアを拡張します。 局所パターン処理に最適化された従来のLong Short-Term Memory(LSTM)モデルとは異なり、アテンションメカニズムはトレーニングウィンドウ内のすべての事前時間ステップに直接アクセスすることができる。 このハイブリッド設計は、LSTMと組み合わせて、長期的な依存関係をキャプチャし、トランザクションコストを考慮に入れたシナリオのパフォーマンスを高め、市場環境の進化にシームレスに適応することを可能にする。
  論文  参考訳（メタデータ） (2024-12-17T04:11:30Z)
• LATST: Are Transformers Necessarily Complex for Time-Series Forecasting [0.0]
  トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。 これまでの研究では、伝統的な注意機構が、この領域におけるそれらの有効性を制限する重要な要素として特定されてきた。 本稿では,トランスフォーマーを用いた時系列予測において,エントロピー崩壊を緩和し,不安定性をトレーニングするための新しいアプローチであるLATSTを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T09:09:39Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting [86.33543833145457]
  本稿では,2つの相互依存モジュールを持つ汎用フレームワークとして,非定常変圧器を提案する。 我々のフレームワークは、メインストリームのトランスフォーマーを、大きなマージンで継続的に増加させ、トランスフォーマーで49.43%、インフォーマーで47.34%、改革派で46.89%削減します。
  論文  参考訳（メタデータ） (2022-05-28T12:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。