論文の概要: A statistical perspective on transformers for small longitudinal cohort data

• arxiv url: http://arxiv.org/abs/2602.16914v1
• Date: Wed, 18 Feb 2026 22:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.421727
• Title: A statistical perspective on transformers for small longitudinal cohort data
• Title（参考訳）: 小長手コホートデータに対する変圧器の統計的考察
• Authors: Kiana Farhadyar, Maren Hackenberg, Kira Ahrens, Charlotte Schenk, Bianca Kollmann, Oliver Tüscher, Klaus Lieb, Michael M. Plichta, Andreas Reif, Raffael Kalisch, Martin Wolkewitz, Moritz Hess, Harald Binder,
• Abstract要約: 本稿では,推定パラメータ数を削減しつつ,コアアテンション機構を保持する簡易なトランスフォーマーアーキテクチャを提案する。 自己回帰モデルを出発点とし、時間減衰を伴うカーネルベースの演算として注意を巻き込む。 これはまた、コンテキストパターンを識別するための置換に基づく統計的テスト手順を可能にする。
• 参考スコア（独自算出の注目度）: 0.058079925240809634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling of longitudinal cohort data typically involves complex temporal dependencies between multiple variables. There, the transformer architecture, which has been highly successful in language and vision applications, allows us to account for the fact that the most recently observed time points in an individual's history may not always be the most important for the immediate future. This is achieved by assigning attention weights to observations of an individual based on a transformation of their values. One reason why these ideas have not yet been fully leveraged for longitudinal cohort data is that typically, large datasets are required. Therefore, we present a simplified transformer architecture that retains the core attention mechanism while reducing the number of parameters to be estimated, to be more suitable for small datasets with few time points. Guided by a statistical perspective on transformers, we use an autoregressive model as a starting point and incorporate attention as a kernel-based operation with temporal decay, where aggregation of multiple transformer heads, i.e. different candidate weighting schemes, is expressed as accumulating evidence on different types of underlying characteristics of individuals. This also enables a permutation-based statistical testing procedure for identifying contextual patterns. In a simulation study, the approach is shown to recover contextual dependencies even with a small number of individuals and time points. In an application to data from a resilience study, we identify temporal patterns in the dynamics of stress and mental health. This indicates that properly adapted transformers can not only achieve competitive predictive performance, but also uncover complex context dependencies in small data settings.
• Abstract（参考訳）: 縦コホートデータのモデリングは通常、複数の変数間の複雑な時間的依存関係を伴う。 そこでは、言語や視覚アプリケーションで非常に成功しているトランスフォーマーアーキテクチャにより、個人の歴史の中で最近観測された時間ポイントが、必ずしも近い将来に最も重要なものとは限らないという事実を説明できる。 これは、個人の値の変換に基づいて、個人の観察に注意重みを割り当てることによって達成される。 これらのアイデアが長手コホートデータにまだ十分に活用されていない理由の1つは、通常、大きなデータセットが必要であることである。 そこで本研究では,推定パラメータの数を削減しつつ,コアアテンション機構を保ちつつ,最小時間しか持たない小さなデータセットに適した簡易なトランスフォーマーアーキテクチャを提案する。 変圧器の統計的視点から, 自己回帰モデルを出発点とし, 複数の変圧器ヘッドの集約, すなわち, 異なる候補重み付けスキームが, 個人の基本特性の異なる種類の証拠として蓄積される, 時間的減衰を伴うカーネルベースの操作として注意を喚起する。 これはまた、コンテキストパターンを識別するための置換に基づく統計的テスト手順を可能にする。 シミュレーション研究では、少数の個人や時間ポイントであっても、文脈依存を回復する手法が示されている。 レジリエンス研究のデータへの応用として、ストレスとメンタルヘルスのダイナミクスにおける時間的パターンを同定する。 このことは、適切な適応型トランスフォーマーが競争力のある予測性能を達成するだけでなく、小さなデータ設定で複雑なコンテキスト依存性を明らかにすることができることを示している。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Ister: Inverted Seasonal-Trend Decomposition Transformer for Explainable Multivariate Time Series Forecasting [10.32586981170693]
  Inverted Seasonal-Trend Decomposition Transformer (Ister) 本稿では,解釈可能性,計算効率,予測精度を向上させる新しいDotアテンション機構を提案する。 Isterはコンポーネントのコントリビューションを直感的に視覚化し、モデルの意思決定プロセスに光を流し、予測結果の透明性を高める。
  論文  参考訳（メタデータ） (2024-12-25T06:37:19Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• TimelyGPT: Extrapolatable Transformer Pre-training for Long-term Time-Series Forecasting in Healthcare [14.14872125241069]
  我々は、時間生成事前学習変換器(TimelyGPT)を提示する。 TimelyGPTは、トレンドと周期パターンを時系列表現にエンコードするために、extrapolatable position (xPos) を組み込んでいる。 また、再帰的な注意と時間的畳み込みモジュールを統合して、グローバルな時間的依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2023-11-29T19:09:28Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• DuETT: Dual Event Time Transformer for Electronic Health Records [14.520791492631114]
  我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。 DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。 本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
  論文  参考訳（メタデータ） (2023-04-25T17:47:48Z)
• Causal Transformer for Estimating Counterfactual Outcomes [18.640006398066188]
  多くのアプリケーションでは、観測データから時間とともに反現実的な結果を予測することが重要となる。 我々は、時間とともに反現実的な結果を予測するための新しい因果変換器を開発した。 私たちのモデルは、時間によって異なる共同設立者間の複雑な長距離依存関係をキャプチャするために特別に設計されています。
  論文  参考訳（メタデータ） (2022-04-14T22:40:09Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。