論文の概要: Learning the Context of Errors: Black-Box Online Adaptation of Time Series Foundation Models
- arxiv url: http://arxiv.org/abs/2606.14222v1
- Date: Fri, 12 Jun 2026 08:02:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.813618
- Title: Learning the Context of Errors: Black-Box Online Adaptation of Time Series Foundation Models
- Title(参考訳): エラーのコンテキストを学ぶ: 時系列基礎モデルのブラックボックスオンライン適応
- Authors: Xilin Dai, Yiding Liu, Hongjie Xia, Yifan Hu, Zewei Dong, Jiang-Ming Yang, Qiang Xu,
- Abstract要約: Time Series Foundation Models (TSFMs) は、さまざまな領域にわたるゼロショット予測を進歩させた。
既存のオンライン適応手法の多くは、パラメータの微調整や勾配のバックプロパゲーションにホワイトボックスアクセスに依存している。
TSFMのブラックボックスオンライン適応では、何を学ぶべきか?
ベースモデルの入力と出力の両方で、ベースモデルの予測誤差が条件付けられている。
- 参考スコア(独自算出の注目度): 14.827848278985101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid evolution of Time Series Foundation Models (TSFMs) has advanced zero-shot forecasting across diverse domains. Inspired by the current form of Large Language Models, future TSFMs may be offered as commercialized, closed-source API services. However, many existing online adaptation methods still rely on white-box access for parameter fine-tuning or gradient backpropagation. This paradigm mismatch raises a question: In black-box online adaptation for TSFMs, what should we learn? We answer this with an insight: the predictive errors of the base model are conditioned on both the input and output of the base model (i.e., the context of errors). To validate this insight, we propose ORCA (Online Residual Contextual Adaptation). We conduct extensive experiments across 5 state-of-the-art TSFMs and 8 datasets to demonstrate the effectiveness of our approach. Furthermore, through ablation studies, we quantitatively analyze the impact of different adapter learning hypotheses on the final adaptation performance in black-box online adaptation. Code available at https://github.com/Fifthky/ORCA.
- Abstract(参考訳): 時系列ファウンデーションモデル(TSFM)の急速な進化は、さまざまな領域にわたるゼロショット予測を進化させてきた。
現在のLarge Language Modelsにインスパイアされた将来のTSFMは、商用化されたクローズドソースAPIサービスとして提供される可能性がある。
しかし、既存のオンライン適応手法の多くはパラメータの微調整や勾配のバックプロパゲーションにホワイトボックスアクセスに依存している。
TSFMのブラックボックスオンライン適応では、何を学ぶべきか?
ベースモデルの予測誤差は、ベースモデルの入力と出力の両方(すなわち、エラーのコンテキスト)で条件付けられます。
この知見を検証するために, ORCA (Online Residual Contextual Adaptation) を提案する。
我々は5つの最先端のTSFMと8つのデータセットにわたる広範な実験を行い、我々のアプローチの有効性を実証した。
さらに、アブレーション研究を通じて、ブラックボックスオンライン適応における最終適応性能に対する異なるアダプタ学習仮説の影響を定量的に分析する。
コードはhttps://github.com/Fifthky/ORCA.comで公開されている。
関連論文リスト
- Adapting Point Cloud Analysis via Multimodal Bayesian Distribution Learning [47.975618905252354]
マルチモーダルな3次元視覚言語モデルは多種多様な3次元タスクにまたがる強力な一般化を示すが、その性能はドメインシフトで顕著に低下する。
これはテストタイム適応に関する最近の研究を動機付けており、テストタイムデータを使ってモデルをオンラインに適応させることができる。
テストポイントクラウド分析のためのマルチモーダル分散学習フレームワークBayesMMを提案する。
論文 参考訳(メタデータ) (2026-03-23T15:03:47Z) - Online time series prediction using feature adjustment [3.07487290622028]
時系列予測は、様々な領域において重要な意味を持つ。
時系列オンライン学習手法は2つの主要な側面に焦点を当てている。
本研究は,データに影響を及ぼす潜在因子の変化から分布変化が生じることを示唆する。
論文 参考訳(メタデータ) (2025-09-04T01:54:48Z) - Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve? [19.34040322172224]
テキストドメイン上でモデルをトレーニングすることは、同じドメインのテスト部分において、その難易度を低下させる可能性があることを示す。
我々の発見は、いつモデルを適応するか、いつ基礎的な能力に頼るかを決める上で、私たちを導くでしょう。
論文 参考訳(メタデータ) (2024-10-08T00:37:16Z) - Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。
LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。
フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
論文 参考訳(メタデータ) (2024-09-10T00:59:18Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳(メタデータ) (2024-04-02T05:34:33Z) - Black-Box Tuning of Vision-Language Models with Effective Gradient
Approximation [71.21346469382821]
ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。
CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
論文 参考訳(メタデータ) (2023-12-26T06:31:28Z) - Diffusion-TTA: Test-time Adaptation of Discriminative Models via
Generative Feedback [97.0874638345205]
生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。
提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。
拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
論文 参考訳(メタデータ) (2023-11-27T18:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。