MetaCaster: Meta-Harness-Optimized Agent for End-to-End Few-Shot Learning of Lightweight Time Series Forecasters
Abstractの概要
本論文は、大規模な基盤モデルの利用コストが高く、少数のサポートセットしか得られないリソース制約環境を対象として、軽量な時系列予測モデルのフューショット学習を研究しています。提案されたMetaCasterフレームワークはマルチエージェント構造を採用しており、メタジェネレーターが少数のサンプルとテキストコンテキストからドメインに適合した合成訓練データを生成し、予測器トレーナーが23種類のモデルからなる軽量ライブラリからモデルを訓練・選定し、メタエージェントがジェネレーターのハーネスを最適化します。本システムはLLMを通じて直接予測を出力するのではなく、単独でデプロイ可能なコンパクトな専門モデルを構築する中間エンジニアとして機能します。ドメイン内およびドメイン外ベンチマークにわたる18のデータセットを用いた実験により、生成モデル、データ拡張技術、基盤モデル、エージェント型訓練パイプラインを相手にMetaCasterを評価しています。
新規性
MetaCasterは、直接推論を行う代わりにエージェントがタスクに適合した訓練データを生成して軽量モデルを構成する、時系列予測のための「エンジニアとしてのエージェント」パラダイムを導入しています。また、単なるデータ分布の一致ではなく、下流の予測性能に基づいてジェネレーターのプロンプトやスキル基盤を最適化する自動メタハーネス最適化を導入しています。
成果
30通りのデータセットおよびショット数の評価設定において、MetaCasterは19のケースで最良のMSEを達成し、ショットサイズK ∈ {10, 30, 50}全体で既存の生成手法や拡張ベースラインを一貫して上回りました。K >= 30では、生成データで訓練された予測モデルが完全な実データセットで訓練されたモデルと同等以上の性能を頻繁に示し、ドメイン外ベンチマークや未知の予測器に対しても効果的に汎化しました。Solarデータセットでは、選定された軽量予測モデルが最大10^3倍低いレイテンシと10^5倍少ないパラメータ数で時系列基盤モデルと同等の性能を達成しています。
論文の注目点
- MetaCasterは、標準的な分布のリアリズム指標ではなく、下流の予測誤差最小化に合成データ生成を直接適合させる。
- メタジェネレーター、23モデルのLT-Libライブラリを管理する予測器トレーナー、訓練エポックを通じてジェネレーターのスキルとプロンプトを最適化するハーネスプロポーザーを連携させる。
- 予測重視の目的関数とテキストによるドメインコンテキストが不可欠であり、異なるLLMバックボーン間でも性能が比較的安定していることから、ハーネス最適化の重要性が確認された。