論文の概要: Drift Happens: An Empirical Study of Neural Architecture Robustness to Temporal Distribution Shift

• arxiv url: http://arxiv.org/abs/2607.05908v1
• Date: Tue, 07 Jul 2026 07:03:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.427187
• Title: Drift Happens: An Empirical Study of Neural Architecture Robustness to Temporal Distribution Shift
• Title（参考訳）: Drift Happens: 時間分布シフトに対するニューラルネットワークのロバスト性に関する実証的研究
• Abstract要約: 実世界のデータ分散は時間とともに進化し、時間的な分散シフトを引き起こし、デプロイされた機械学習システムの信頼性を著しく低下させる。 我々は3つの不均一な時間インデクシング領域における時間的ロバスト性の体系的比較を示す。 本研究は,単純な多層パーセプトロンや畳み込みネットワーク,リカレントネットワーク,トランスフォーマーベースエンコーダといったモデルファミリにまたがる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world data distributions evolve over time, inducing temporal distribution shift that can substantially degrade the reliability of deployed machine learning systems. However, the extent to which architectural choices and their associated inductive biases affect temporal robustness remains insufficiently understood. We present a systematic empirical comparison of temporal robustness across three heterogeneous, time-indexed domains encompassing image classification, multi-label text classification, and text regression tasks. Using a unified evaluation framework based on temporal drift matrices, we train models on cumulative historical data and evaluate their performance on both earlier and later time periods, thereby quantifying cross-temporal generalization. Our study spans model families ranging from simple multilayer perceptrons and convolutional networks to recurrent networks and pretrained Transformer-based encoders. Collectively, the results show that architectural inductive biases systematically shape temporal robustness: models whose inductive biases lead them to exploit localized, highly discriminative features attain the highest in-distribution accuracy, yet those features are often the ones that change most over time, so these models degrade fastest, while pretrained encoders that draw on coarser, more stable representations drift more gradually. These observations offer practical guidance for selecting architectures for real-world systems subject to temporal drift.
• Abstract（参考訳）: 実世界のデータ分散は時間とともに進化し、時間的な分散シフトを引き起こし、デプロイされた機械学習システムの信頼性を著しく低下させる。 しかしながら、アーキテクチャの選択とその関連する帰納的バイアスが時間的堅牢性にどの程度影響するかは、まだ十分に理解されていない。 本稿では、画像分類、多ラベルテキスト分類、テキスト回帰タスクを含む3つの不均一な時間インデクシング領域における時間的ロバスト性の体系的比較について述べる。 時間的ドリフト行列に基づく統一的評価フレームワークを用いて,累積的履歴データに基づくモデルを訓練し,初期および後期の双方のパフォーマンスを評価することにより,時間的一般化の定量化を図る。 本研究は,単純な多層パーセプトロンや畳み込みネットワーク,リカレントネットワーク,トランスフォーマーベースエンコーダといったモデルファミリにまたがる。 帰納的バイアスが局所的かつ高度に識別可能な特徴を最大限に活用するモデルでは,これらの特徴は時間とともに最も変化するものとなることが多いため,これらのモデルはより高速に劣化する一方で,より安定した表現はより徐々に減少する。 これらの観察は、時間的ドリフトを受ける現実世界のシステムのためのアーキテクチャを選択するための実践的なガイダンスを提供する。

関連論文リスト

• Symbolic Neural ODEs: Learning interpretable models from time-series data [0.0]
  時系列データから動的システムのスパースで解釈可能なモデルを特定するための機械学習フレームワークを提案する。 本稿では,ニューラルネットワークを用いて基礎となるベクトル場をパラメータ化し,有限地平線上の多段階予測損失を最小限に抑えて学習する。 多段階学習は, 長期統計特性において, 高精度な短期力学と強い一致を持つモデルが得られることを示す。
  論文  参考訳（メタデータ） (2026-08-22T21:31:07Z)
• SPaRSe-TIME: Saliency-Projected Low-Rank Temporal Modeling for Efficient and Interpretable Time Series Prediction [0.0]
  SPaRSe-TIME(サイト・英語)は、時系列を分解して3つの相補的なコンポーネント(サリエンシ、メモリ、トレンド)にモデル化するフレームワークである。 多様な実世界のデータセットの実験は、SPaRSe-TIMEが競合性能を達成することを示した。 全体として、SPaRSe-TIMEは、モノリシックシーケンスモデルの原則的な代替、ブリッジ効率、解釈可能性、パフォーマンスを提供し、時系列学習のためのスケーラブルなフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-04-19T09:55:28Z)
• Seeking SOTA: Time-Series Forecasting Must Adopt Taxonomy-Specific Evaluation to Dispel Illusory Gains [17.650604674194984]
  我々は、AI/ML時系列予測モデルを評価する現在の実践は、効率的な古典的手法の性能を見極めることで、実際の進歩を曖昧にしていると論じる。 これらの「標準」データセットは、しばしばより単純な線形または統計モデルによって効果的に捉えられる、支配的な自己相関パターンと季節周期を示す。
  論文  参考訳（メタデータ） (2026-03-16T16:34:26Z)
• MEMTS: Internalizing Domain Knowledge via Parameterized Memory for Retrieval-Free Domain Adaptation of Time Series Foundation Models [51.506429027626005]
  Memory for Time Series (MEMTS) は、時系列予測における検索不要領域適応のための軽量かつプラグアンドプレイ方式である。 MEMTSの鍵となるコンポーネントは知識永続化モジュール(KPM)であり、ドメイン固有の時間力学を内部化する。 このパラダイムシフトにより、MEMTSは定数時間推論とニアゼロレイテンシによる正確なドメイン適応を実現することができる。
  論文  参考訳（メタデータ） (2026-02-14T14:00:06Z)
• Learning Time in Static Classifiers [44.358377952850994]
  本稿では,標準フィードフォワード分類器と時間的推論を併用した,シンプルで効果的なフレームワークを提案する。 本稿では, 時間的コヒーレントなトラジェクトリに学習データを構造化するSEQ学習パラダイムを提案する。 我々のアプローチは静的および時間的学習をモジュール的でデータ効率のよい方法でブリッジし、事前抽出された機能の上に単純なものだけを必要とする。
  論文  参考訳（メタデータ） (2025-11-15T18:42:51Z)
• Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [42.60778405812048]
  我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。 FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
  論文  参考訳（メタデータ） (2025-06-10T18:40:20Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Detecting Anomalies in Dynamic Graphs via Memory enhanced Normality [39.476378833827184]
  動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。 時空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。 STRIPEは、AUCスコアが5.8%改善し、トレーニング時間が4.62倍速く、既存の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-03-14T02:26:10Z)
• A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
  C$2$TSDという条件拡散フレームワークを導入する。 実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-02-18T11:59:04Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。