論文の概要: Ground-Truth Neighborhood Regularization for Reinforcement Learning Post-Training of Time Series Foundation Models
- arxiv url: http://arxiv.org/abs/2608.08010v1
- Date: Sat, 08 Aug 2026 08:41:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.603877
- Title: Ground-Truth Neighborhood Regularization for Reinforcement Learning Post-Training of Time Series Foundation Models
- Title（参考訳）: 時系列基礎モデルの学習後強化学習のための地中軸規則化
- Abstract要約: 時系列予測(TSF)は、幅広い現実世界のアプリケーションにおいて重要な役割を果たす。
ある予測領域では、強化学習(RL)後学習は、TSFMの出力分布を基礎的真理から徐々にシフトさせる可能性がある。
TSFMのRL後トレーニングのためのGTN-R( Ground-Truth Neighborhood Regularization)を提案する。
- 参考スコア（独自算出の注目度）: 27.57970518169938
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Time series forecasting (TSF) plays an important role in a wide range of real-world applications. Recently, time series foundation models (TSFMs), pretrained on large-scale datasets, have demonstrated strong generalization capabilities and emerged as an important paradigm for TSF. Reinforcement learning (RL) post-training has consequently attracted growing attention as a means of further improving their performance on downstream tasks. However, we find that, in certain forecast regions, RL post-training may gradually shift the output distributions of TSFMs away from the ground truth, thereby limiting their performance. We refer to this phenomenon as \textbf{suboptimal collapse}. Our analysis suggests that difficulty in initially sampling high-quality trajectories near the ground truth is an important contributing factor to suboptimal collapse. To address this issue, we propose Ground-Truth Neighborhood Regularization (GTN-R) for RL post-training of TSFMs. GTN-R uses the ground truth as a reference for locating high-quality regions and guides the model's probability mass toward the ground-truth neighborhood. This increases the probability of sampling high-quality trajectories, mitigates suboptimal collapse, and improves performance. Moreover, GTN-R can be flexibly integrated into various RL methods for TSFMs. Extensive experiments show its effectiveness.
- Abstract（参考訳）: 時系列予測(TSF)は、幅広い現実世界のアプリケーションにおいて重要な役割を果たす。
近年,大規模データセットに事前訓練された時系列基礎モデル (TSFM) は,強力な一般化能力を示し,TSFの重要なパラダイムとして登場した。
強化学習(Reinforcement Learning, RL)のポストトレーニングは, 下流タスクにおけるパフォーマンス向上の手段として注目されている。
しかし, ある予測領域において, RLポストトレーニングは, TSFMの出力分布を基本事実から徐々にシフトさせ, 性能を抑えることができることがわかった。
この現象を \textbf{suboptimal collapse} と呼ぶ。
解析結果から, 地平付近の良質な軌道をサンプリングすることが, 最適崩壊に重要な要因であることが示唆された。
この問題に対処するため、TSFMのRL後トレーニングのためのGTN-R(GTN-R)を提案する。
GTN-Rは、高品質な領域を見つけるための基準として基底真理を使い、モデルの確率質量を地道付近へ導く。
これにより、高品質な軌道をサンプリングする確率を高め、最適下崩壊を緩和し、性能を向上させる。
さらに、GTN-RはTSFMの様々なRL法に柔軟に統合できる。
大規模な実験は、その効果を示す。
関連論文リスト
- Scaling Near-Optimal SFT-RL Annotation Budget Allocation from Small to Large LLMs [115.29900088092823]
教師付き微調整と強化学習の間に固定アノテーションの予算を分割する方法は、未解決の問題である。
ピーク性能の特定の許容範囲内でのアロケーションの集合である近最適領域を特徴付ける。
我々の結果は、タスク、モデルファミリー、および好みに基づくオフ・ポリティクスと報酬・スーパービジョン・オン・ポリティクスの2つの方法に一貫して当てはまる。
論文 参考訳（メタデータ） (2026-09-01T17:39:55Z) - SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。
逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。
この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
論文 参考訳（メタデータ） (2026-04-18T13:49:47Z) - S-GRPO: Unified Post-Training for Large Vision-Language Models [11.901218794806796]
我々はLVLM(Large Vision-Language Models)適応のためのS-GRPO(Supervised Group Relative Policy Optimization)を提案する。
S-GRPOは、模擬学習の指導を選好最適化の多軌道探索に統合する。
監督ファインチューニング(SFT)と強化学習(RL)のギャップを優雅に埋める
論文 参考訳（メタデータ） (2026-04-17T08:39:07Z) - DFPO: Scaling Value Modeling via Distributional Flow towards Robust and Generalizable LLM Post-Training [94.568675548967]
実環境における訓練強化学習(RL)システムは、ノイズの多い監視とドメイン外の一般化が不十分なため、依然として困難である。
近年の分布RL法は、複数の量子点を持つ値をモデル化することでロバスト性を向上させるが、スカラーとして各量子点を独立に学習する。
DFPOは、時間ステップをまたいだ連続フローとして値をモデル化する、ロバストな分散RLフレームワークである。
論文 参考訳（メタデータ） (2026-02-05T17:07:42Z) - Trust-Region Adaptive Policy Optimization [82.09255251747818]
後学習法は,大規模言語モデル(LLM)の複雑な推論能力の向上に重要な役割を果たしている。
トレーニングインスタンス毎に,Fun-Tuning(SFT)とReinforcement Learning(RL)をインターリーブするフレームワークであるTRAPOを紹介する。
5つの数学的推論ベンチマークの実験は、TRAPOが標準SFT、RL、SFT-then-RLパイプラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-12-19T14:37:07Z) - Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。
しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。
軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
論文 参考訳（メタデータ） (2025-08-07T17:53:47Z) - RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization [111.1749164063616]
大規模言語モデル(LLM)のための新しいハイブリッド政治最適化手法RL-PLUSを提案する。
RL-PLUSは、外部データと内部エクスプロイトを相乗化して、より強力な推論能力を達成し、ベースモデルのバウンダリを超える。
提案手法の優位性と一般化性を示すため,理論解析と広範な実験を行った。
論文 参考訳（メタデータ） (2025-07-31T23:55:29Z) - Reinforcement Fine-Tuning Naturally Mitigates Forgetting in Continual Post-Training [36.69514399442043]
本稿では,教師付きファインチューニング(SFT)と強化ファインチューニング(RFT)の2つのコアポストトレーニングパラダイムの比較分析を行った。
本実験は,7つの多様なマルチモーダルタスクからなるベンチマークで実施した。
論文 参考訳（メタデータ） (2025-07-07T18:17:06Z) - Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions [17.407689582427437]
大規模言語モデル(LLM)推論は、強化学習(RL)を通して計画や自己回帰のような洗練された行動が現れることを示した。
textbfReLIFT (textbfReinforcement textbfL textbfInterleaved with Online textbfFine-textbfTuning)
ReLIFTでは、モデルを主にRLを使ってトレーニングするが、難しい問題に遭遇すると、ファインチューニングのための高品質なソリューションが収集され、トレーニングプロセスが交互に行われる。
論文 参考訳（メタデータ） (2025-06-09T08:11:20Z) - A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。
単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。
この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
論文 参考訳（メタデータ） (2025-04-15T16:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。