論文の概要: Into the ORBIT for Time Series: Training Regimes for Foundation Models
- arxiv url: http://arxiv.org/abs/2608.13262v1
- Date: Thu, 13 Aug 2026 14:00:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.550742
- Title: Into the ORBIT for Time Series: Training Regimes for Foundation Models
- Title（参考訳）: ORBIT for Time Series: Training Regimes for Foundation Models に参加して
- Abstract要約: ORBITはトレーニング前のディストリビューションを明確にし、制御可能にするトレーニングパラダイムである。
そこで我々は,後期層表現を停止段階の教師として利用する学習目標であるランクガイド型クロスデプスアライメントを導入する。
GIFT-Evalとfev-benchの評価は、様々な領域と周波数で強いゼロショット予測性能を示す。
- 参考スコア（独自算出の注目度）: 16.359864017246494
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Time series foundation models (TSFMs) have advanced primarily through architectural innovation, while training regimes for large-scale heterogeneous corpora remain under-explored. As a result, pre-training distributions are often poorly controlled with respect to domain imbalance, context requirements, prediction horizons, and missingness. We introduce ORBIT (Omni-Range Bootstrap Incremental Training), a training paradigm that makes this distribution explicit and controllable. ORBIT combines Bootstrap Multi-Level Sampling, which controls dataset exposure and samples records, target variables, context windows, and prediction horizons, with Omni-Range Incremental Training, which varies context lengths and prediction horizons throughout a single training stage. Under ORBIT, we train Falcon-2.0, a simple univariate encoder-only Transformer with missingness-aware triple-channel patch tokenization and parallel patch prediction. We further introduce Rank-Guided Cross-Depth Alignment, a training objective that uses late-layer representations as stop-gradient teachers for shallow layers without additional inference cost. Evaluations on GIFT-Eval and fev-bench demonstrate strong zero-shot forecasting performance across diverse domains and frequencies.
- Abstract（参考訳）: 時系列基礎モデル (TSFM) は主にアーキテクチャの革新を通じて進歩し、大規模な異種コーパスの訓練体制は未探索のままである。
その結果、事前学習された分布は、ドメインの不均衡、コンテキスト要求、予測地平線、不足に関して制御が不十分であることが多い。
ORBIT(Omni-Range Bootstrap Incremental Training, Omni-Range Bootstrap Incremental Training)は,この分布を明示的かつ制御可能なトレーニングパラダイムである。
ORBITは、データセットの露出とサンプルレコード、ターゲット変数、コンテキストウィンドウ、予測地平線を制御するBootstrap Multi-Level Smplingと、単一のトレーニングステージを通じてコンテキストの長さと予測地平線を変更するOmni-Range Incremental Trainingを組み合わせたものだ。
ORBITの下では、単純な単変量エンコーダのみのトランスフォーマーであるFalcon-2.0をトレーニングする。
さらに, 遅延層表現を, 追加の推論コストを伴わずに, 浅い層に対して停止段階の教師として用いる訓練目標であるランクガイドクロス・アライメントを導入する。
GIFT-Evalとfev-benchの評価は、様々な領域と周波数で強いゼロショット予測性能を示す。
関連論文リスト
- AR Forcing: Towards Long-Horizon Robot Navigation World Model [17.673862182236793]
本稿では,自己回帰学習ループに標準拡散損失を統合する自己回帰学習戦略であるAR Forcingを提案する。
本手法では, 識別器の追加や分布整合損失は不要であり, 元の拡散フレームワークとサンプリング器を保持でき, 統合が容易である。
論文 参考訳（メタデータ） (2026-05-29T13:45:33Z) - SphereVAD: Training-Free Video Anomaly Detection via Geodesic Inference on the Unit Hypersphere [90.85001795656633]
ビデオ異常検出(VAD)は、トリミングされていない監視ビデオの通常のパターンから逸脱するイベントを自動的に識別することを目的としている。
SphereVADはトレーニング不要でゼロショットのVADフレームワークで、単位超球面上の準比測地線推定をvon Mises-Fisher (vMF) と再放送する。
論文 参考訳（メタデータ） (2026-05-08T16:57:38Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - Online Bayesian Imbalanced Learning with Bregman-Calibrated Deep Networks [0.7106986689736825]
本報告では、クラス優先の仮定から確率比の推定を分離する原則的フレームワークであるOBIL(TextitOnline Bayesian Im Balanced Learning)を提案する。
我々のアプローチは、ブレグマンの発散と適切なスコアリングルールとの確立された接続に基づいて、そのような損失で訓練されたディープネットワークが後続確率推定を生成することを示す。
これらの確率比の推定は、クラス事前およびコスト構造における任意の変化の下でも有効であり、最適なベイズ決定のためのしきい値調整のみを必要とすることを証明している。
論文 参考訳（メタデータ） (2026-02-08T21:23:00Z) - Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。
本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。
本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
論文 参考訳（メタデータ） (2026-02-05T15:45:08Z) - Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。
主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。
その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
論文 参考訳（メタデータ） (2024-02-26T11:54:54Z) - DR-Tune: Improving Fine-tuning of Pretrained Visual Models by
Distribution Regularization with Semantic Calibration [38.4461170690033]
セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。
DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。
セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
論文 参考訳（メタデータ） (2023-08-23T10:59:20Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - The Lottery Tickets Hypothesis for Supervised and Self-supervised
Pre-training in Computer Vision Models [115.49214555402567]
事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。
最近の研究は、巨大モデル能力による事前学習の利点を示唆している。
本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
論文 参考訳（メタデータ） (2020-12-12T21:53:55Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Bridging the Gap Between Training and Inference for Spatio-Temporal
Forecasting [16.06369357595426]
本稿では,S-temporal sequence forecastingのトレーニングと推論のギャップを埋めるために,時間的プログレッシブ・グロース・サンプリングというカリキュラムベースの新しい戦略を提案する。
実験結果から,提案手法は長期依存をモデル化し,2つの競合データセットに対するベースラインアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2020-05-19T10:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。