論文の概要: Loss-Guided Pretraining Data Selection for Time-Series Foundation Models

• arxiv url: http://arxiv.org/abs/2609.37255v1
• Date: Tue, 29 Sep 2026 11:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.434135
• Title: Loss-Guided Pretraining Data Selection for Time-Series Foundation Models
• Title（参考訳）: 時系列基礎モデルにおける損失誘導事前学習データ選択
• Abstract要約: 時系列基礎モデル(TSFM)は、数十億の観測を含む異種コレクションに事前訓練されている。 静的なデータ選択フレームワークを導入し、各ウィンドウを基準予測器でスコアし、各ソースデータセットに中間間隔を保持する。 次に、基準損失スコアを定義し、サンプルの多様性を維持するためにデータセット階層化選択を適用する。
• 参考スコア（独自算出の注目度）: 19.58479715166882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series foundation models (TSFMs) are pretrained on heterogeneous collections containing billions of observations, yet their training windows are typically sampled without estimating whether they provide useful learning signal. We introduce a static data-selection framework that scores each window with a reference forecaster and retains an intermediate interval within every source dataset. Specifically, we connect forecasting loss to optimization difficulty by showing that normalized squared loss controls the per-sample gradient norm under a local Jacobian condition. We then define a reference loss score and apply dataset-stratified selection to preserve the diversity of samples. Across various TSFM architectures, our method outperforms random selection by an absolute margin and even improves both relative MASE and CRPS over full-data pretraining by retaining fewer candidate pretraining windows. Further analyses show strong cross-scale and cross-architecture score correlations, indicating that a small reference model can often select data for larger targets, provided that the reference and target share compatible difficulty orderings.
• Abstract（参考訳）: 時系列基礎モデル(TSFM)は、数十億の観測結果を含む異種コレクション上で事前訓練されるが、それらの訓練窓は通常、有用な学習信号を提供するかどうかを推定せずにサンプリングされる。 静的なデータ選択フレームワークを導入し、各ウィンドウを基準予測器でスコアし、各ソースデータセットに中間間隔を保持する。 具体的には,正規化二乗損失が局所ジャコビアン条件下でのサンプルごとの勾配ノルムを制御することを示すことにより,予測損失を最適化困難に結びつける。 次に、基準損失スコアを定義し、サンプルの多様性を維持するためにデータセット階層化選択を適用する。 様々なTSFMアーキテクチャにおいて,提案手法は絶対マージンでランダム選択を上回り,候補事前学習ウィンドウを減らし,実データ事前学習よりも相対的なMASEとCRPSを向上させる。 さらに分析した結果,小規模参照モデルでは大きなターゲットに対してデータを選択することが可能であり,参照モデルとターゲットモデルとの整合性の相違が認められた。

関連論文リスト

• Regression Augmentation With Data-Driven Segmentation [0.0]
  不均衡回帰は、ターゲット分布が歪んだときに発生し、モデルが密度の高い領域に集中し、表現不足の(マイノリティ)サンプルと競合する原因となる。 本稿では,Mahalanobis-Gaussian Mixture Modeling (GMM) を用いて,マイノリティサンプルの自動同定を行う,完全なデータ駆動型GANベースの拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-02T18:12:11Z)
• RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment [10.284993431741377]
  サンプル間の関係に基づいてサンプル冗長性を定量化する,エプシロン・サンプル被覆の概念を導入する。 我々は、強化学習プロセスとしてデータ選択を再構成し、RLセレクタを提案する。 我々の手法は、既存の最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-06-26T06:28:56Z)
• OASIS: Online Sample Selection for Continual Visual Instruction Tuning [55.92362550389058]
  連続的インストラクションチューニング(CIT)のシナリオでは、新しいインストラクションチューニングデータがオンラインストリーミング形式で連続的に到着する。 データの選択はこのオーバーヘッドを軽減することができるが、既存の戦略はしばしば事前訓練された参照モデルに依存している。 最近の参照モデルなしオンラインサンプル選択手法はこれに対処するが、典型的にはバッチ毎に一定の数のサンプルを選択する。
  論文  参考訳（メタデータ） (2025-05-27T20:32:43Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Imputing Missing Observations with Time Sliced Synthetic Minority Oversampling Technique [0.3973560285628012]
  本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。 我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。 これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
  論文  参考訳（メタデータ） (2022-01-14T19:23:24Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。