論文の概要: SVTime: Small Time Series Forecasting Models Informed by "Physics" of Large Vision Model Forecasters

• arxiv url: http://arxiv.org/abs/2510.09780v2
• Date: Fri, 31 Oct 2025 02:36:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 15:46:17.652093
• Title: SVTime: Small Time Series Forecasting Models Informed by "Physics" of Large Vision Model Forecasters
• Title（参考訳）: SVTime:大型視覚モデル予測器の「物理」にインフォームされた小型時系列予測モデル
• Authors: ChengAo Shen, Ziming Zhao, Hanghang Tong, Dongjin Song, Dongsheng Luo, Qingsong Wen, Jingchao Ni,
• Abstract要約: 動的Webコンテンツを分析するには時系列AIが不可欠だ。 エネルギー集約的なトレーニング、推論、ハードウェアの要求を考えると、大きなモデルを1フィットのソリューションとして使うと、二酸化炭素のフットプリントと持続可能性に対する深刻な懸念が浮かび上がっています。 本稿では、長期時系列予測(LTSF)のための大型ビジョンモデル(LVM)予測器にインスパイアされた新しい小型モデルSVTimeを紹介する。
• 参考スコア（独自算出の注目度）: 86.38433605933515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series AI is crucial for analyzing dynamic web content, driving a surge of pre-trained large models known for their strong knowledge encoding and transfer capabilities across diverse tasks. However, given their energy-intensive training, inference, and hardware demands, using large models as a one-fits-all solution raises serious concerns about carbon footprint and sustainability. For a specific task, a compact yet specialized, high-performing model may be more practical and affordable, especially for resource-constrained users such as small businesses. This motivates the question: Can we build cost-effective lightweight models with large-model-like performance on core tasks such as forecasting? This paper addresses this question by introducing SVTime, a novel Small model inspired by large Vision model (LVM) forecasters for long-term Time series forecasting (LTSF). Recently, LVMs have been shown as powerful tools for LTSF. We identify a set of key inductive biases of LVM forecasters -- analogous to the "physics" governing their behaviors in LTSF -- and design small models that encode these biases through meticulously crafted linear layers and constraint functions. Across 21 baselines spanning lightweight, complex, and pre-trained large models on 8 benchmark datasets, SVTime outperforms state-of-the-art (SOTA) lightweight models and rivals large models with 10^3 fewer parameters than LVMs, while enabling efficient training and inference in low-resource settings.
• Abstract（参考訳）: 時系列AIは、動的Webコンテンツを分析するために不可欠であり、さまざまなタスクにまたがるエンコーディングと転送機能で知られる、トレーニング済みの大規模モデルの急増を招いている。 しかし、そのエネルギー集約的なトレーニング、推論、ハードウェアの要求を踏まえると、大きなモデルをオールフィットのソリューションとして使用すると、二酸化炭素のフットプリントと持続可能性に対する深刻な懸念が生じる。 特定のタスクに対して、コンパクトで専門的でハイパフォーマンスなモデルの方が実用的で手頃な価格になり得る。 予測のようなコアタスクに対して,大規模モデルのようなパフォーマンスを備えた費用効率のよい軽量モデルを構築することができるか? 本稿では,長期時系列予測(LTSF)のための大規模ビジョンモデル(LVM)予測器にインスパイアされた,新しい小型モデルであるSVTimeを導入することにより,この問題に対処する。 最近、LVMはLTSFの強力なツールとして示されています。 LVM 予測器の重要な帰納バイアス - LTSF の振る舞いを管理する "物理学" に類似した -- のセットを特定し、細心の注意を払って構築された線形層と制約関数を通じてこれらのバイアスを符号化する小さなモデルを設計します。 SVTimeは8つのベンチマークデータセット上で、軽量で複雑な、トレーニング済みの大規模モデルにまたがる21のベースラインで、最先端のSOTA(State-of-the-art)モデルを上回っ、LVMよりも10^3少ないパラメータを持つ大規模モデルと競合すると同時に、低リソース設定での効率的なトレーニングと推論を可能にしている。

関連論文リスト

• Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models [78.73992315826035]
  ネイティブエージェントインテリジェンスと高い計算効率を調和させる軽量言語モデルであるYoutu-LLMを紹介する。 Youtu-LLMは、スクラッチから体系的に推論と計画能力の育成まで事前訓練されている。
  論文  参考訳（メタデータ） (2025-12-31T04:25:11Z)
• SEMPO: Lightweight Foundation Models for Time Series Forecasting [45.456949943052116]
  SEMPOは比較的小規模なデータに対する事前トレーニングを必要とする軽量な基礎モデルであるが、強い時系列予測を示す。 SEMPOは、1)エネルギーを意識したSpEctral分解モジュールと、事前学習データの利用を大幅に改善する2つの重要なモジュールから構成される。 16のデータセットをカバーする2つの大規模ベンチマークの実験は、ゼロショットと少数ショットの予測シナリオの両方でSEMPOの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-10-22T15:58:44Z)
• DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving [52.63591791507895]
  将来の画像の予測に世界モデリングを利用するトレーニングパラダイムである textbfDriveVLA-W0 を提案する。 このタスクは、運転環境の基礎となる力学を学ぶためにモデルを補完する密集した自己教師信号を生成する。 NAVSIM v1/v2ベンチマークと680倍の社内データセットの実験は、DriveVLA-W0がBEVとVLAのベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2025-10-14T17:59:47Z)
• Revealing the Power of Post-Training for Small Language Models via Knowledge Distillation [43.68215777330875]
  我々は,小型モデルの精度を効果的に向上する,系統的な後学習パイプラインを導入する。 結果として得られた命令調整モデルにより、最先端のパフォーマンスが達成される。 この研究は、Ascendエッジデバイス上で高性能言語モデルを開発するための実用的で効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-09-30T16:40:55Z)
• Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts [25.503695417712997]
  Time-MoEは、より大きく、より有能な基礎モデルを予測するために設計された、スケーラブルで統一されたアーキテクチャである。 Time-MoEは、予測毎にネットワークのサブセットだけを活性化することで、計算効率を向上させる。 時系列基礎モデルを24億のパラメータに拡張し,予測精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-09-24T12:42:18Z)
• LV-UNet: A Lightweight and Vanilla Model for Medical Image Segmentation [17.839755917342362]
  本稿では,事前学習したMobileNetv3-Largeバックボーンを活用し,モジュールを組み込んだ軽量かつバニラモデルであるLV-UNetを紹介する。 ISIC 2016、BUSI、CVCClinicDB、CVCColonDB、KvairSEGデータセットの実験結果は、パフォーマンスと計算負荷のトレードオフをより良く示している。
  論文  参考訳（メタデータ） (2024-08-29T20:19:10Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• A Momentum-Incorporated Non-Negative Latent Factorization of Tensors Model for Dynamic Network Representation [0.0]
  大規模動的ネットワーク (LDN) は、多くのビッグデータ関連アプリケーションにおけるデータソースである。 テンソル(LFT)モデルの潜在因子化は、この時間パターンを効率的に抽出する。 勾配降下(SGD)解法に基づくLFTモデルは、トレーニングスキームによって制限されることが多く、尾収束が弱い。 本稿では,運動量付きSGDに基づく非線形LFTモデル(MNNL)を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:30:53Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。