論文の概要: QUALS: Corpus Equilibrium for Universal Forecasting via Pattern Quantization and Learnability Synchronization
- arxiv url: http://arxiv.org/abs/2609.20156v2
- Date: Sun, 20 Sep 2026 15:35:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.124826
- Title: QUALS: Corpus Equilibrium for Universal Forecasting via Pattern Quantization and Learnability Synchronization
- Title(参考訳): quLS: パターン量子化と学習可能性同期によるユニバーサル予測のためのコーパス平衡
- Abstract要約: 正確なゼロショット予測を達成するために、大量のデータセットに関する基礎モデルをトレーニングすることは、主要な研究課題である。
本稿では,大規模時系列コーパス均衡フレームワークであるQUILSを提案する。
QUILSはデータ効率を著しく向上させ、既存のモデルでは、元のトレーニングデータのごく一部しか使用せず、優れたパフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 19.216005970960747
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ubiquitous time series data across diverse domains enables critical applications in areas such as transportation systems and power grids. Recently, training foundation models on massive datasets to achieve accurate zero-shot forecasting has emerged as a major research focus. However, current studies predominantly prioritize architectural innovations while insufficiently addressing data diversity, often relying on simple data sampling strategies that fail to manage complex data distributions effectively, leading to inefficient use of training data and suboptimal performance. To address this, we propose QUALS, a large-scale time series corpus equilibrium framework. QUALS significantly enhances data efficiency, i.e., enabling existing models to achieve superior performance using only a small fraction of the original training data. Specifically, QUALS operates through two core mechanisms. First, a pattern quantization framework systematically decodes heterogeneous patterns from mixed corpora via vector quantization and uniform binning. Second, a learnability synchronization framework calibrates sampling weights for heterogeneous patterns, bridging the optimization gap between simple and complex motifs to maximize overall training efficiency. Extensive benchmarks demonstrate that pre-training on QUALS consistently achieves superior zero-shot performance, even under substantially reduced training budgets.
- Abstract(参考訳): 多様な領域にわたるユビキタス時系列データにより、輸送システムや電力網などの分野における重要な応用が可能になる。
近年,高精度なゼロショット予測を実現するため,大規模データセットに基づく基礎モデルのトレーニングが主要な研究対象となっている。
しかし、近年の研究は、データ多様性に十分対応しながら、アーキテクチャ上の革新を優先し、複雑なデータ分散を効果的に管理できない単純なデータサンプリング戦略を頼りにしている。
そこで本研究では,大規模時系列コーパス平衡フレームワークであるQUILSを提案する。
QUILSはデータ効率を大幅に向上させ、既存のモデルが元のトレーニングデータのごく一部を使って優れたパフォーマンスを達成できるようにする。
具体的には、QUILSは2つのコアメカニズムを介して動作する。
まず、パターン量子化フレームワークは、ベクトル量子化と一様結合により混合コーパスから異種パターンを体系的にデコードする。
第2に、学習可能性同期フレームワークは、不均一パターンのサンプリング重みを校正し、単純なモチーフと複雑なモチーフの最適化ギャップを埋めて、全体的なトレーニング効率を最大化する。
大規模なベンチマークでは、QuarLSの事前トレーニングは、トレーニング予算が大幅に削減された場合でも、常に優れたゼロショット性能を達成することが示されている。
関連論文リスト
- SPARD: Self-Paced Curriculum for RL Alignment via Integrating Reward Dynamics and Data Utility [71.76390626651254]
本研究では,学習の進捗を把握し,多目的報酬重み付けとデータ重要度を動的に調整し,自己完結型カリキュラムを構築するフレームワークであるSPARDを提案する。
複数のベンチマークにわたる大規模な実験により、SPARDはすべてのドメインにわたるモデル機能を大幅に強化することが示された。
論文 参考訳(メタデータ) (2026-04-09T05:37:22Z) - Bidirectional Curriculum Generation: A Multi-Agent Framework for Data-Efficient Mathematical Reasoning [16.95900718416944]
各トレーニングサンプルの教育的価値を最大化するために,新しい双方向カリキュラム生成フレームワークを導入する。
剛性軌道とは異なり、我々のマルチエージェントエコシステムは適応的な教育を模倣し、閉じたフィードバックループを確立する。
このメカニズムは、モデルが任意の段階で最も効果的なデータのみを消費することを保証します。
論文 参考訳(メタデータ) (2026-03-05T12:49:21Z) - Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。
本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。
本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
論文 参考訳(メタデータ) (2026-02-05T15:45:08Z) - SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。
トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
論文 参考訳(メタデータ) (2025-08-07T03:50:48Z) - BLAST: Balanced Sampling Time Series Corpus for Universal Forecasting Models [47.66064662912721]
本稿では,バランスの取れたサンプリング戦略を通じて,データの多様性を高めるための新しい事前学習コーパスを提案する。
BLTは、公開データセットからの321億の観測を取り入れ、時系列パターンを特徴付けるために、包括的な統計メトリクススイートを使用している。
本研究は, 予測タスクにおけるトレーニング効率とモデル性能の両面において, データの多様性が重要な役割を担っていることを明らかにする。
論文 参考訳(メタデータ) (2025-05-23T13:20:47Z) - A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。
我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。
提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
論文 参考訳(メタデータ) (2024-09-21T15:50:59Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。