論文の概要: Context parroting: A simple but tough-to-beat baseline for foundation models in scientific machine learning
- arxiv url: http://arxiv.org/abs/2505.11349v2
- Date: Thu, 18 Sep 2025 22:10:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-22 14:11:07.022143
- Title: Context parroting: A simple but tough-to-beat baseline for foundation models in scientific machine learning
- Title（参考訳）: コンテキストパロット:科学機械学習の基礎モデルのためのシンプルだが頑丈なベースライン
- Authors: Yuanzhao Zhang, William Gilpin,
- Abstract要約: ファンデーションモデルは、単純なオウム戦略を通じて予測されることがよくあります。
文脈から直接コピーする単純なコンテキストパロッキングモデルは、主要な時系列基礎モデルよりも高いスコアを得る。
- 参考スコア（独自算出の注目度）: 6.881798277354561
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent time-series foundation models exhibit strong abilities to predict physical systems. These abilities include zero-shot forecasting, in which a model forecasts future states of a system given only a short trajectory as context, without knowledge of the underlying physics. Here, we show that foundation models often forecast through a simple parroting strategy, and when they are not parroting they exhibit some shared failure modes such as converging to the mean. As a result, a naive context parroting model that copies directly from the context scores higher than leading time-series foundation models on predicting a diverse range of dynamical systems, including low-dimensional chaos, turbulence, coupled oscillators, and electrocardiograms -- and at a tiny fraction of the computational cost. We draw a parallel between context parroting and induction heads, which explains recent works showing that large language models can often be repurposed for time series forecasting. Our dynamical systems perspective also ties the scaling between forecast accuracy and context length to the fractal dimension of the underlying chaotic attractor, providing insight into previously observed in-context neural scaling laws. By revealing the performance gaps and failure modes of current time-series foundation models, context parroting can guide the design of future foundation models and help identify in-context learning strategies beyond parroting.
- Abstract（参考訳）: 近年の時系列基盤モデルは、物理系を予測する強力な能力を示している。
これらの能力にはゼロショット予測(ゼロショット予測)が含まれ、モデルが基礎となる物理学の知識を必要とせず、短い軌跡のみを文脈として与えたシステムの将来の状態を予測する。
ここでは、ファンデーションモデルが単純なオウム戦略を通じて予測されることがしばしばあり、それらがパロットしていない場合には、平均に収束するなど、いくつかの共有障害モードが現れることを示す。
結果として、文脈から直接コピーする直感的なコンテキストパロットモデルが、低次元のカオス、乱流、結合振動子、心電図など、様々な力学系の予測において、主要な時系列基盤モデルよりも高いスコアを示し、計算コストのごく一部で実現している。
我々は、文脈パロットと帰納的ヘッドの並列性を描き、これは、大言語モデルが時系列予測のためにしばしば再利用可能であることを示す最近の研究を説明している。
我々の力学系の観点からは、予測精度と文脈長のスケーリングを、下層のカオスアトラクションのフラクタル次元と結び付け、従来観察されていたコンテキスト内ニューラルネットワークのスケーリング法則に関する洞察を与える。
現在の時系列基礎モデルのパフォーマンスギャップと障害モードを明らかにすることで、コンテキストパロットは将来の基礎モデルの設計をガイドし、パロット以上のコンテキスト内学習戦略を特定するのに役立つ。
関連論文リスト
- Towards Interpretable Time Series Foundation Models [0.0]
我々は,大規模なマルチモーダルモデルを用いて自然言語アノテーションを生成し,これらを用いてコンパクトQwenモデルの微調整を監督する。
本結果は,デバイス上やプライバシに敏感なデプロイメントに適した,軽量で言語対応のモデルへの時系列理解の圧縮の可能性を強調した。
論文 参考訳（メタデータ） (2025-07-10T05:29:34Z) - Deep learning framework for action prediction reveals multi-timescale locomotor control [41.985053522482545]
我々は,行動予測のためのディープラーニングベースのフレームワークを開発した。
フレキシブルな入力履歴を持つニューラルネットワークアーキテクチャは、GRUやTransformerといったタイムスケールが全体的なパフォーマンスに優れています。
論文 参考訳（メタデータ） (2025-03-20T16:57:15Z) - Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。
提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
論文 参考訳（メタデータ） (2024-12-06T18:22:59Z) - Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Zero-shot forecasting of chaotic systems [6.445605125467573]
多様なドメインからの膨大な時系列データに基づいて事前訓練されたファンデーションモデル。
ゼロショット学習パラダイムがカオスシステムを予測する困難な課題に拡張されるかどうかを評価する。
論文 参考訳（メタデータ） (2024-09-24T05:56:58Z) - Implicit Reasoning in Deep Time Series Forecasting [16.750280337155647]
この研究は、ディープ時系列予測モデルの推論能力を評価するための最初の一歩を踏み出した。
系統的に編成されたアウト・オブ・ディストリビューションシナリオにおいて,ある線形なパッチベーストランスフォーマーモデルが効果的に一般化できることが判明した。
論文 参考訳（メタデータ） (2024-09-17T02:11:19Z) - The Power of Next-Frame Prediction for Learning Physical Laws [5.624870417352306]
次フレーム予測はビデオデータのダイナミックスをモデル化し理解するための有用で強力な手法である。
本稿では,重力や質量などの物理定数の異なる物理法則から導出した6つの診断シミュレーションビデオデータセットについて紹介する。
生成学習フェーズだけでは、ランダムモデルよりもはるかに優れた物理定数を予測できるモデル状態が誘導される。
論文 参考訳（メタデータ） (2024-05-21T17:55:54Z) - Interpretable Machine Learning for Weather and Climate Prediction: A Survey [24.028385794099435]
気象予測に適用された現在の解釈可能な機械学習手法について概説する。
ツリーアンサンブルや説明可能なニューラルネットワークといったアーキテクチャを使って、スクラッチから本質的に解釈可能なモデルを設計する。
物理原理に沿ったより深い機械的解釈を達成するための研究課題について論じる。
論文 参考訳（メタデータ） (2024-03-24T14:23:35Z) - Weather Prediction with Diffusion Guided by Realistic Forecast Processes [49.07556359513563]
気象予報に拡散モデル(DM)を適用した新しい手法を提案する。
提案手法は,同一のモデリングフレームワークを用いて,直接予測と反復予測の両方を実現できる。
我々のモデルの柔軟性と制御性は、一般の気象コミュニティにとってより信頼性の高いDLシステムに力を与えます。
論文 参考訳（メタデータ） (2024-02-06T21:28:42Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳（メタデータ） (2023-11-30T08:22:08Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-12T12:29:32Z) - Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。
我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。
本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
論文 参考訳（メタデータ） (2023-07-04T05:19:19Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳（メタデータ） (2023-06-20T03:02:14Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳（メタデータ） (2020-10-27T17:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。