論文の概要: Understanding the Implicit Biases of Design Choices for Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2510.19236v1
• Date: Wed, 22 Oct 2025 04:42:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.122558
• Title: Understanding the Implicit Biases of Design Choices for Time Series Foundation Models
• Title（参考訳）: 時系列基礎モデルにおける設計選択の意図的バイアスの理解
• Authors: Annan Yu, Danielle C. Maddix, Boran Han, Xiyuan Zhang, Abdul Fatir Ansari, Oleksandr Shchur, Christos Faloutsos, Andrew Gordon Wilson, Michael W. Mahoney, Yuyang Wang,
• Abstract要約: 時系列基礎モデル(TSFM)は、時系列予測と関連する時間的タスクのための潜在的に強力で汎用的なツールのクラスである。 彼らの行動はデザインの微妙な帰納的バイアスによって強く形作られています。 モデルやデータの性質によって、これらのバイアスが直感的であるか、非常に直感的であるかを示す。
• 参考スコア（独自算出の注目度）: 90.894232610821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series foundation models (TSFMs) are a class of potentially powerful, general-purpose tools for time series forecasting and related temporal tasks, but their behavior is strongly shaped by subtle inductive biases in their design. Rather than developing a new model and claiming that it is better than existing TSFMs, e.g., by winning on existing well-established benchmarks, our objective is to understand how the various ``knobs'' of the training process affect model quality. Using a mix of theory and controlled empirical evaluation, we identify several design choices (patch size, embedding choice, training objective, etc.) and show how they lead to implicit biases in fundamental model properties (temporal behavior, geometric structure, how aggressively or not the model regresses to the mean, etc.); and we show how these biases can be intuitive or very counterintuitive, depending on properties of the model and data. We also illustrate in a case study on outlier handling how multiple biases can interact in complex ways; and we discuss implications of our results for learning the bitter lesson and building TSFMs.
• Abstract（参考訳）: 時系列基礎モデル(TSFM)は、時系列予測と関連する時間的タスクのための潜在的に強力で汎用的なツールのクラスである。 新しいモデルを開発し、既存のTSFM(例えば、既存の確立されたベンチマークに勝つこと)よりも優れていると主張するのではなく、トレーニングプロセスの様々な 'knobs'' がモデル品質にどのように影響するかを理解することを目的としている。 理論と制御された経験的評価の混合を用いて、いくつかの設計選択(パッチサイズ、埋め込み選択、トレーニング目標など)を特定し、それらが基本モデル特性(時間的挙動、幾何学的構造、モデルが平均にどれだけ攻撃的に回帰するかなど)における暗黙のバイアスにどのように結びつくかを示し、モデルやデータの性質によって、これらのバイアスがどのように直感的あるいは非常に直感的であるかを示す。 また,複数のバイアスが複雑な方法でどのように相互作用するかを扱うアウトラヤのケーススタディについて解説し,苦しい教訓の学習やTSFMの構築に結果がもたらす影響について考察する。

関連論文リスト

• Investigating Compositional Reasoning in Time Series Foundation Models [16.0792886386044]
  予測における構成的推論を定義し,それを分布内一般化と区別する。 私たちはパッチベースのトランスフォーマーが最高の理由付け性能を持っていることに気付きました。 いくつかのゼロショットのアウト・オブ・ディストリビューションのシナリオでは、これらのモデルは、イン・ディストリビューションデータに基づいてトレーニングされた移動平均と指数的スムーズな統計ベースラインより優れている。
  論文  参考訳（メタデータ） (2025-02-09T21:21:55Z)
• Exploring Representations and Interventions in Time Series Foundation Models [17.224575072056627]
  時系列基礎モデル(TSFM)は、幅広いアプリケーションのための強力なツールであることを約束する。 彼らの内部表現や学習された概念はまだよく理解されていない。 本研究では,様々なTSFMにおける表現の構造と冗長性について検討する。
  論文  参考訳（メタデータ） (2024-09-19T17:11:27Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning [56.50123642237106]
  モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。 このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。 我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-24T16:40:01Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning Dynamics Models for Model Predictive Agents [28.063080817465934]
  モデルに基づく強化学習は、データからテクトダイナミックスモデルを学習し、そのモデルを使用して振る舞いを最適化する。 本稿では, 動的モデル学習における設計選択の役割を, 基礎構造モデルとの比較により明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2021-09-29T09:50:25Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。