論文の概要: Context parroting: A simple but tough-to-beat baseline for foundation models in scientific machine learning

• arxiv url: http://arxiv.org/abs/2505.11349v1
• Date: Fri, 16 May 2025 15:14:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.386362
• Title: Context parroting: A simple but tough-to-beat baseline for foundation models in scientific machine learning
• Title（参考訳）: コンテキストパロット:科学機械学習の基礎モデルのためのシンプルだが頑丈なベースライン
• Authors: Yuanzhao Zhang, William Gilpin,
• Abstract要約: 物理系に適用された基礎モデルは正確な予測を与えることができるが、基礎となる物理の有意義な表現を開発できないことを示す。 代わりに、基礎モデルは、単純なゼロショット予測戦略である文脈パロットによって予測されることが多い。 テキストで訓練された大規模言語モデルを時系列予測のために再利用できる理由を説明する。
• 参考スコア（独自算出の注目度）: 6.445605125467573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently-developed time series foundation models for scientific machine learning exhibit emergent abilities to predict physical systems. These abilities include zero-shot forecasting, in which a model forecasts future states of a system given only a short trajectory as context. Here, we show that foundation models applied to physical systems can give accurate predictions, but that they fail to develop meaningful representations of the underlying physics. Instead, foundation models often forecast by context parroting, a simple zero-shot forecasting strategy that copies directly from the context. As a result, a naive direct context parroting model scores higher than state-of-the-art time-series foundation models on predicting a diverse range of dynamical systems, at a tiny fraction of the computational cost. We draw a parallel between context parroting and induction heads, which explains why large language models trained on text can be repurposed for time series forecasting. Our dynamical systems perspective also ties the scaling between forecast accuracy and context length to the fractal dimension of the attractor, providing insight into the previously observed in-context neural scaling laws. Context parroting thus serves as a simple but tough-to-beat baseline for future time-series foundation models and can help identify in-context learning strategies beyond parroting.
• Abstract（参考訳）: 最近開発された科学機械学習の時系列基礎モデルは、物理系を予測する創発的な能力を示す。 これらの能力にはゼロショット予測が含まれており、モデルが文脈として短い軌跡しか与えられないシステムの将来の状態を予測している。 ここでは、物理系に適用された基礎モデルは正確な予測を与えることができるが、基礎となる物理の有意義な表現を開発できないことを示す。 その代わり、基礎モデルは文脈から直接コピーする単純なゼロショット予測戦略である文脈パロットによって予測されることが多い。 その結果、直感的な直接文脈パロットモデルでは、計算コストのごく一部で、様々な力学系を予測する上で、最先端の時系列基盤モデルよりも高いスコアが得られた。 テキストで訓練された大規模言語モデルを時系列予測のために再利用できる理由を説明する。 我々の力学系の観点からは、予測精度と文脈長のスケーリングをアトラクタのフラクタル次元と結び付け、これまで観察されたコンテキスト内ニューラルネットワークのスケーリング法則に関する洞察を提供する。 これにより、コンテキストパロットは、将来の時系列基盤モデルの単純だが難しいベースラインとして機能し、パロット以上のコンテキスト内学習戦略を特定するのに役立つ。

関連論文リスト

• Deep learning framework for action prediction reveals multi-timescale locomotor control [41.985053522482545]
  我々は,行動予測のためのディープラーニングベースのフレームワークを開発した。 フレキシブルな入力履歴を持つニューラルネットワークアーキテクチャは、GRUやTransformerといったタイムスケールが全体的なパフォーマンスに優れています。
  論文  参考訳（メタデータ） (2025-03-20T16:57:15Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Zero-shot forecasting of chaotic systems [6.445605125467573]
  多様なドメインからの膨大な時系列データに基づいて事前訓練されたファンデーションモデル。 ゼロショット学習パラダイムがカオスシステムを予測する困難な課題に拡張されるかどうかを評価する。
  論文  参考訳（メタデータ） (2024-09-24T05:56:58Z)
• The Power of Next-Frame Prediction for Learning Physical Laws [5.624870417352306]
  次フレーム予測はビデオデータのダイナミックスをモデル化し理解するための有用で強力な手法である。 本稿では,重力や質量などの物理定数の異なる物理法則から導出した6つの診断シミュレーションビデオデータセットについて紹介する。 生成学習フェーズだけでは、ランダムモデルよりもはるかに優れた物理定数を予測できるモデル状態が誘導される。
  論文  参考訳（メタデータ） (2024-05-21T17:55:54Z)
• Interpretable Machine Learning for Weather and Climate Prediction: A Survey [24.028385794099435]
  気象予測に適用された現在の解釈可能な機械学習手法について概説する。 ツリーアンサンブルや説明可能なニューラルネットワークといったアーキテクチャを使って、スクラッチから本質的に解釈可能なモデルを設計する。 物理原理に沿ったより深い機械的解釈を達成するための研究課題について論じる。
  論文  参考訳（メタデータ） (2024-03-24T14:23:35Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。