論文の概要: Lost in the Non-convex Loss Landscape: How to Fine-tune the Large Time Series Model?

• arxiv url: http://arxiv.org/abs/2606.08578v1
• Date: Sun, 07 Jun 2026 11:25:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.275372
• Title: Lost in the Non-convex Loss Landscape: How to Fine-tune the Large Time Series Model?
• Title（参考訳）: 非凸ロスランドスケープの損失:大規模時系列モデルをどのように微調整するか?
• Authors: Xu Zhang, Peang Wang, Wei Wang,
• Abstract要約: 本稿では,線形時間モデルのためのファインチューニング技術を提案する。 具体的には、スムーズな損失制限を得るためにランダムな補助タスクを構築し、そのタスクを他のモデルのタスクと補間する。
• 参考スコア（独自算出の注目度）: 6.169999812521259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, large time series models (LTSMs) have gained increasing attention due to their similarities to large language models, including flexible context length, scalability, and task generality, outperforming advanced task-specific models. However, prior studies indicate that pre-trained LTSMs may exhibit a poorly conditioned non-convex loss landscape, leading to limited trainability. As a result, direct fine-tuning tends to cause overfitting and suboptimal performance, sometimes even worse than training from scratch, substantially diminishing the benefits of pre-training. To overcome this limitation, we propose Smoothed Full Fine-tuning (SFF), a novel fine-tuning technology. Specifically, we construct an auxiliary LTSM via random initialization to obtain a smoother loss landscape, and then linearly interpolate its weights with those of the pre-trained model to smooth the original landscape. This process improves trainability while preserving pre-trained knowledge, thereby enabling more effective downstream fine-tuning. From an optimization perspective, SFF perturbs sharp minima without significantly harming flat regions, facilitating escape from poor local basins toward smoother and more generalizable solutions. Extensive experiments on benchmark datasets demonstrate consistent improvements across eight representative LTSMs, including Timer, TimesFM, MOMENT, UniTS, MOIRAI, Chronos, TTMs, and Sundial, on diverse downstream tasks. The code is available at the link: https://github.com/Meteor-Stars/SFF.
• Abstract（参考訳）: 近年, 大規模時系列モデル (LTSM) は, フレキシブルな文脈長, 拡張性, タスク一般性など, 大規模言語モデルとの類似性から注目されている。 しかし、以前の研究では、事前訓練されたLTSMsは、条件の悪い非凸損失の風景を示す可能性があり、訓練性は制限されていることが示されている。 結果として、直接微調整は過度に適合し、時にはスクラッチからトレーニングするよりさらに悪い場合があり、事前訓練の利点を著しく低下させる。 この制限を克服するために,新しいファインチューニング技術であるSmoothed Full Fine-tuning (SFF)を提案する。 具体的には、ランダム初期化による補助LTSMを構築し、よりスムーズなロスランドスケープを求め、その重みを事前学習されたモデルと線形に補間して元のランドスケープを滑らかにする。 このプロセスは、事前訓練された知識を保持しながらトレーニング性を改善し、より効果的な下流の微調整を可能にする。 最適化の観点からは、SFFの摂動は平坦な領域を著しく損なうことなく鋭い最小限であり、低地盆地からより滑らかでより一般化可能な解へ逃れるのに役立っている。 ベンチマークデータセットに関する大規模な実験では、Timer、TimesFM、MOMENT、UniTS、MOIRAI、Chronos、TTM、Sundialなど、さまざまな下流タスクを含む8つのLTSMで一貫した改善が示されている。 コードはリンクで入手できる。 https://github.com/Meteor-Stars/SFF。

関連論文リスト

• Learning, Fast and Slow: Towards LLMs That Adapt Continually [83.9214051113102]
  大規模言語モデル(LLM)は、パラメータを更新することで下流タスクのために訓練される。 高速スロートレーニング(FST)は、推論タスクのスローラーニング(RL)よりも最大3倍のサンプリング効率を持つ。
  論文  参考訳（メタデータ） (2026-05-12T17:58:20Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• Learning from the Undesirable: Robust Adaptation of Language Models without Forgetting [18.680059467974825]
  言語モデル(LM)は、ダウンストリームタスクに特化するために、教師付き微調整(SFT)によって適応されることが多い。 微調整データに制限がある典型的なシナリオでは、SFTはLMを過度に適合させ、急激なパターンに依存する。 本研究では,SFT がデータ制限のある LM を微調整する際の問題を緩和するための,単純かつ効果的な正規化手法であるLfU を提案する。
  論文  参考訳（メタデータ） (2025-11-17T06:57:44Z)
• Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting [95.61137026932062]
  Intern-GSはスパースビューガウススプラッティングのプロセスを強化する新しいアプローチである。 Intern-GSは多様なデータセットにまたがって最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2025-05-27T05:17:49Z)
• Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning [44.907586955452295]
  大規模言語モデル(LLM)は様々なタスクにまたがるが、標準的な一階述語(FO)の微調整にはかなりのメモリを必要とする。 近年、ゼロオーダー(ZO)最適化はメモリ効率のよいトレーニングパラダイムとして注目されている。 本稿では,FOおよびZO最適化の異なる更新パターンを明らかにするレイヤワイズ分散分析を提案する。 以上の結果から,DiZOはスループットを犠牲にすることなく,コンバージェンスに必要なイテレーションを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2025-02-05T16:03:17Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration [38.4461170690033]
  セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。 DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。 セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-08-23T10:59:20Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。