論文の概要: In-Context Learning Under Regime Change

• arxiv url: http://arxiv.org/abs/2604.16988v1
• Date: Sat, 18 Apr 2026 13:23:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.276778
• Title: In-Context Learning Under Regime Change
• Title（参考訳）: レジーム変化下におけるインコンテキストラーニング
• Authors: Carson Dudley, Yutong Bi, Xiaofeng Liu, Samet Oymak,
• Abstract要約: 非定常配列は自然に制御、予測、意思決定に現れる。 我々は、これをコンテキスト内変化点検出問題として定式化し、この問題を解決するトランスフォーマーモデルの存在を正式に確立する。 本稿では,感染予測やFOMC(Federal Open Market Committee, FOMC)の発表に伴う金融ボラティリティ予測において, 変更点知識の符号化と導入によって, 事前にトレーニングした基盤モデルの現実的な性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 23.94313447462402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-stationary sequences arise naturally in control, forecasting, and decision-making. The data-generating process shifts at unknown times, and models must detect the change, discard or downweight obsolete evidence, and adapt to new dynamics on the fly. Transformer-based foundation models increasingly rely on in-context learning for time series forecasting, tabular prediction, and continuous control. As these models are deployed in non-stationary environments, understanding their ability to detect and adapt to regime shifts is important. We formalize this as an in-context change-point detection problem and formally establish the existence of transformer models that solve this problem. Our construction demonstrates that model complexity, in layers and parameters, depends on the level of information available about the change-point location, from no knowledge to knowing exact timing. We validate our results with experiments on synthetic linear regression and linear dynamical systems, where trained transformers match the performance of optimal baselines across information levels. We also show that encoding and incorporating changepoint knowledge indeed improves the real-world performance of a pretrained foundation models on infectious disease forecasting and on financial volatility forecasting around Federal Open Market Committee (FOMC) announcements without retraining, demonstrating practical applicability to real-world regime changes.
• Abstract（参考訳）: 非定常配列は自然に制御、予測、意思決定に現れる。 データ生成プロセスは未知のタイミングでシフトし、モデルが変化を検出し、陳腐化した証拠を破棄または破棄し、フライ時に新しいダイナミクスに適応する必要がある。 トランスフォーマーベースの基礎モデルは、時系列予測、表形式での予測、継続的な制御において、コンテキスト内学習にますます依存している。 これらのモデルは非定常環境にデプロイされるため、レギュラーシフトを検出し、適応する能力を理解することが重要である。 我々は、これをコンテキスト内変化点検出問題として定式化し、この問題を解決するトランスフォーマーモデルの存在を正式に確立する。 私たちの構成では、レイヤやパラメータのモデル複雑さは、無知識から正確なタイミングまで、変更点の位置に関する情報のレベルに依存することが示されています。 本研究では, 線形回帰および線形力学系に関する実験により, 学習したトランスフォーマーが情報レベルの最適ベースラインの性能に適合することを示す。 また, 変更点知識の符号化と導入により, 感染性疾患予測やFOMC(Federal Open Market Committee, FOMC)の発表に伴う金融ボラティリティ予測に関する事前訓練済み基礎モデルの現実的性能が向上し, 実世界体制の変更に実用的な適用性を示すことも示している。

関連論文リスト

• Model-Based Reinforcement Learning for Control under Time-Varying Dynamics [40.96573079787976]
  時間変動力学下での制御のための強化学習について検討する。 適応型データバッファ機構を用いた実用的な楽観的モデルベース強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-04-02T16:52:59Z)
• From Physics to Machine Learning and Back: Part II - Learning and Observational Bias in PHM [52.64097278841485]
  物理インフォームドモデリングとデータストラテジーによる学習と観察バイアスの導入は、モデルを物理的に一貫した信頼性のある予測へと導くことができるかを検討する。 メタラーニングや少数ショットラーニングなどの高速適応手法をドメイン一般化手法とともに検討する。
  論文  参考訳（メタデータ） (2025-09-25T14:15:43Z)
• Kalman Bayesian Transformer [11.613736588909246]
  本稿では,ベイズフレームワーク内の後部推論問題として逐次微調整をフレーム化する手法を提案する。 事前学習したモデルを事前学習として明示的に説明し、定量化された不確実性に基づく新しい情報に対して適応的にバランスをとることにより、頑健でデータ効率の良いシーケンシャルラーニングを実現する。
  論文  参考訳（メタデータ） (2025-09-12T21:15:23Z)
• Adapting to Fragmented and Evolving Data: A Fisher Information Perspective [0.0]
  FADEは動的環境下での堅牢な学習のための軽量フレームワークである。 フィッシャー情報幾何学に固定されたシフトアウェアの正規化機構を採用している。 FADEは固定メモリでオンラインで動作し、ターゲットラベルにアクセスできない。
  論文  参考訳（メタデータ） (2025-07-25T06:50:09Z)
• PI-WAN: A Physics-Informed Wind-Adaptive Network for Quadrotor Dynamics Prediction in Unknown Environments [3.4802474792943805]
  本研究では, 物理インフォームド・ウィンド・アダプティブ・ネットワーク (PI-WAN) を導入する。 具体的には、PI-WANは時間的畳み込みネットワーク(TCN)アーキテクチャを採用し、歴史的飛行データから時間的依存関係を効率的にキャプチャする。 実時間予測結果をモデル予測制御(MPC)フレームワークに組み込むことで,クローズドループ追跡性能の向上を実現する。
  論文  参考訳（メタデータ） (2025-07-01T14:48:22Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。