論文の概要: Understanding the Limits of Deep Tabular Methods with Temporal Shift

• arxiv url: http://arxiv.org/abs/2502.20260v1
• Date: Thu, 27 Feb 2025 16:48:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:30.279563
• Title: Understanding the Limits of Deep Tabular Methods with Temporal Shift
• Title（参考訳）: 時間シフトによる深部タブラル法限界の理解
• Authors: Hao-Run Cai, Han-Jia Ye,
• Abstract要約: 本稿では,Fourier級数展開に基づく時間的組込み手法を提案し,時間的パターンを学習し,組み込む。 我々の実験は、この時間的埋め込みと改良されたトレーニングプロトコルを組み合わせることで、時間的データから学習するためのより効果的で堅牢なフレームワークが提供されることを示した。
• 参考スコア（独自算出の注目度）: 28.738848567072004
• License:
• Abstract: Deep tabular models have demonstrated remarkable success on i.i.d. data, excelling in a variety of structured data tasks. However, their performance often deteriorates under temporal distribution shifts, where trends and periodic patterns are present in the evolving data distribution over time. In this paper, we explore the underlying reasons for this failure in capturing temporal dependencies. We begin by investigating the training protocol, revealing a key issue in how model selection perform. While existing approaches use temporal ordering for splitting validation set, we show that even a random split can significantly improve model performance. By minimizing the time lag between training data and test time, while reducing the bias in validation, our proposed training protocol significantly improves generalization across various methods. Furthermore, we analyze how temporal data affects deep tabular representations, uncovering that these models often fail to capture crucial periodic and trend information. To address this gap, we introduce a plug-and-play temporal embedding method based on Fourier series expansion to learn and incorporate temporal patterns, offering an adaptive approach to handle temporal shifts. Our experiments demonstrate that this temporal embedding, combined with the improved training protocol, provides a more effective and robust framework for learning from temporal tabular data.
• Abstract（参考訳）: 深い表形式モデルは、様々な構造化されたデータタスクに優れており、i.d.データにおいて顕著な成功を収めている。 しかし、その性能は、時間とともに進化するデータ分布に傾向や周期的なパターンが存在する時間的分布シフトによって劣化することが多い。 本稿では,この障害の原因として,時間的依存を捉えない理由を考察する。 まず、トレーニングプロトコルを調査し、モデル選択のパフォーマンスに関する重要な問題を明らかにします。 既存の手法では時間的順序付けを用いて検証セットを分割するが、ランダムな分割でさえモデルの性能を著しく向上させることができることを示す。 トレーニングデータとテスト時間間の時間ラグを最小限に抑えつつ,検証のバイアスを低減することにより,提案したトレーニングプロトコルは,各種手法間の一般化を著しく改善する。 さらに、時間データが表層表現にどのように影響するかを分析し、これらのモデルが重要な周期情報や傾向情報を取得するのに失敗することが多いことを明らかにする。 このギャップに対処するために、Fourierシリーズ拡張に基づく時間的埋め込み手法を導入し、時間的シフトを扱うための適応的アプローチを提供する。 我々の実験は、この時間埋め込みと改良されたトレーニングプロトコルを組み合わせることで、時間表データから学習するためのより効果的で堅牢なフレームワークが提供されることを示した。

関連論文リスト

• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• On the Regularization of Learnable Embeddings for Time Series Forecasting [18.069747511100132]
  時系列処理のための局所学習可能な埋め込みの学習を規則化する手法について検討する。 本研究では, 局所的・大域的パラメータの組込みによる共適応を防止する手法が, この文脈において特に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-18T17:30:20Z)
• tPARAFAC2: Tracking evolving patterns in (incomplete) temporal data [0.7285444492473742]
  進化因子の時間的スムーズ性正規化を利用した t(emporal)PARAFAC2 を導入する。 シミュレーションおよび実データを用いた数値実験により,時間的滑らか度正則化の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-01T15:10:55Z)
• DeformTime: Capturing Variable Dependencies with Deformable Attention for Time Series Forecasting [0.34530027457862006]
  入力空間から相関時間パターンを捕捉しようとするニューラルネットワークアーキテクチャであるDeformTimeを提案する。 これまでに確立されたベンチマークを用いて,6つのMTSデータセットに関する広範な実験を行った。 その結果,DeformTimeはMSS予測タスクの大部分にわたる従来の競合手法と比較して精度が向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-11T16:45:48Z)
• ChronosLex: Time-aware Incremental Training for Temporal Generalization of Legal Classification Tasks [1.3723120574076126]
  本研究では,法的概念が時間とともに進化する,法的多ラベルテキスト分類タスクの動的性質がもたらす課題について検討する。 既存のモデルはしばしばトレーニングプロセスの時間的次元を見落とし、時間とともにそれらのモデルの最適以下のパフォーマンスをもたらす。 我々はChronosLexを紹介した。ChronosLexは、時系列分割のモデルを訓練し、データの時間的順序を保存するインクリメンタルトレーニングパラダイムである。
  論文  参考訳（メタデータ） (2024-05-23T06:09:16Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Instructed Diffuser with Temporal Condition Guidance for Offline Reinforcement Learning [71.24316734338501]
  テンポラリ・コンポラブル・ディフューザ(TCD)を用いた実効時間条件拡散モデルを提案する。 TCDは、相互作用シーケンスから時間情報を抽出し、時間条件で生成を明示的にガイドする。 提案手法は,従来のSOTAベースラインと比較して最高の性能を達成または一致させる。
  論文  参考訳（メタデータ） (2023-06-08T02:12:26Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• Training for the Future: A Simple Gradient Interpolation Loss to Generalize Along Time [26.261277497201565]
  いくつかの実世界のアプリケーションでは、機械学習モデルがデプロイされ、時間とともに分布が徐々に変化するデータの予測を行う。 本稿では,時間に敏感なパラメータを持つモデルから始める単純な手法を提案する。
  論文  参考訳（メタデータ） (2021-08-15T11:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。