論文の概要: Mix, Don't Pick: Why Synthetic Corpus Composition Matters for Time Series Foundation Model Pretraining

• arxiv url: http://arxiv.org/abs/2606.09912v1
• Date: Sat, 06 Jun 2026 12:10:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.040861
• Title: Mix, Don't Pick: Why Synthetic Corpus Composition Matters for Time Series Foundation Model Pretraining
• Title（参考訳）: Mix, Don't Pick: 時系列基礎モデルの事前学習に合成コーパスの構成が重要である理由
• Authors: Aaryan Nagpal, Debdeep Sanyal, Murari Mandal, Dhruv Kumar, Saurabh Deshpande,
• Abstract要約: 時系列基礎モデル事前学習のための誤った合成生成器の選択はコストがかかる。 11のジェネレータファミリーが評価され、どのジェネレータが役立つかはモデルアーキテクチャに依存する。 すべてのジェネレータの単純な等重量混合は、両方のアーキテクチャーで最高の個々のジェネレータをマッチまたは打ち負かす。
• 参考スコア（独自算出の注目度）: 7.400285974510125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing the wrong synthetic generator for time-series foundation model pretraining is costly: under identical training budgets, the best and worst generators produce up to a $2\times$ gap in forecasting error, yet the field has no principled way to make this choice. The problem is compounded by the fact that generator rankings are not stable across architectures: across 11 generator families evaluated on Chronos-T5-Mini and Moirai-Small trained from scratch, we find that which generators are useful depends on the model architecture. Rather than solving the generator selection problem, we sidestep it: a simple equal-weight mixture of all generators matches or beats the best individual generator for both architectures, and composing this mixture with real data yields the strongest pretraining corpora overall. Synthetic pretraining is therefore a corpus composition problem, not a generator selection problem, and composition choices should be validated per model family rather than assumed to transfer.
• Abstract（参考訳）: トレーニング予算が同じで、最高のジェネレータと最悪のジェネレータは、予測エラーで最大2ドル(約2,300円)の差を発生します。 この問題は,Chronos-T5-Mini と Moirai-Small で評価された11のジェネレータファミリーにおいて,どのジェネレータがモデルアーキテクチャに依存しているかという問題によって複雑化している。 ジェネレータの選択問題を解く代わりに、全てのジェネレータの単純な等重量混合が、両方のアーキテクチャで最高の個々のジェネレータと一致または打ち負かし、この混合物を実際のデータで合成することで、全体として最も強い事前学習コーパスが得られる。 したがって、合成事前学習はコーパス構成問題であり、ジェネレータの選択問題ではない。

関連論文リスト

• INFUSER: Influence-Guided Self-Evolution Improves Reasoning [54.101135873140066]
  2つの共進化的役割を持つ反復的協調学習フレームワークを導入する。 解答器は、生成元が提供する回答に対して標準正当性報酬で訓練される。 8B INF共進化ジェネレータは、数学とコーディングにおいて凍った32B思考ジェネレータより優れている。
  論文  参考訳（メタデータ） (2026-06-08T05:40:36Z)
• Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time [51.671620992989375]
  OP-Mixは、言語モデルトレーニングライフサイクル全体にわたって動作するデータミキシングアルゴリズムである。 プレトレーニングでは、OP-Mixは平均パープレキシティの6.3%を混合することなくトレーニングを改善できる。 連続学習では、OP-Mixは再学習とオンライン蒸留の両方のパフォーマンスを66%、全体の95%で比較した。
  論文  参考訳（メタデータ） (2026-05-13T02:29:19Z)
• NLGR: Utilizing Neighbor Lists for Generative Rerank in Personalized Recommendation Systems [13.848284819312953]
  ジェネレーティブリジェネレータの近隣リストモデルは、空間におけるジェネレータのパフォーマンスを改善することを目的としている。 本稿では,既存のリストから任意の隣接リストへ柔軟にジャンプ可能な,サンプリングに基づく非自己回帰生成手法を提案する。 NLGRの有効性を実証し,NLGRをMeituanフードデリバリープラットフォームに導入することに成功している。
  論文  参考訳（メタデータ） (2025-02-10T02:06:17Z)
• Generating Sequences by Learning to Self-Correct [64.0249217590888]
  自己補正(Self-Correction)は、不完全な世代を反復的に修正する独立した修正器から不完全なベースジェネレータを分離する。 本稿では,3つの多種多様なタスクにおいて,自己補正がベースジェネレータを改善することを示す。
  論文  参考訳（メタデータ） (2022-10-31T18:09:51Z)
• FR: Folded Rationalization with a Unified Encoder [14.899075910719189]
  文意味抽出の観点から有理モデルの2つのフェーズを1つに折り畳むFolded Rationalization (FR)を提案する。 FRは最先端手法と比較してF1スコアを最大10.3%改善することを示した。
  論文  参考訳（メタデータ） (2022-09-17T08:49:45Z)
• Joint Generator-Ranker Learning for Natural Language Generation [99.16268050116717]
  JGRは、ジェネレータとローダを単一のフレームワークに統合する、新しいジョイントトレーニングアルゴリズムである。 ジェネレータとランク装置を反復的に更新することにより、JGRは学習を効果的に調和させ、共同で品質を高めることができる。
  論文  参考訳（メタデータ） (2022-06-28T12:58:30Z)
• Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
  選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
  論文  参考訳（メタデータ） (2021-10-26T17:39:18Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)
• Generative models with kernel distance in data space [10.002379593718471]
  LCWジェネレータはガウスノイズをデータ空間に変換する際に古典的なGANに似ている。 第一に、カーネル測度を用いたオートエンコーダに基づくアーキテクチャは、データの多様体をモデル化するために構築される。 最終モデルを得るために、ガウスからラテンへのラテントトリック写像を提案する。
  論文  参考訳（メタデータ） (2020-09-15T19:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。