論文の概要: Quantifying the Pre-training Dividend: Generative versus Latent Self-Supervised Learning for Time Series Foundation Models
- arxiv url: http://arxiv.org/abs/2605.19462v1
- Date: Tue, 19 May 2026 07:13:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.182559
- Title: Quantifying the Pre-training Dividend: Generative versus Latent Self-Supervised Learning for Time Series Foundation Models
- Title（参考訳）: 事前学習の分身の定量化:時系列基礎モデルにおける生成的対潜在的自己指導型学習
- Authors: Noam Major, Kathy Razmadze, Yoli Shavit,
- Abstract要約: 自己教師型学習(SSL)のビジョンとNLPは、時系列への急速な採用を動機付けている。
さまざまな時間的タスクにまたがってSSLが付加する価値である“事前トレーニング配当”を評価するためのフレームワークを確立します。
我々の分析では、事前学習配当は高度に非対称であり、異常検出と分類では最大375%の利得が得られるが、予測には限界がある。
- 参考スコア（独自算出の注目度）: 5.3565231231826695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The success of self-supervised learning (SSL) in vision and NLP has motivated its rapid adoption for time series. However, research has focused primarily on Generative paradigms and forecasting tasks, leaving the broader utility of learned representations unquantified. We establish a controlled framework to evaluate the "pre-training dividend": the value added by SSL across diverse temporal tasks. We systematically compare Generative paradigms against Latent Alignment architectures, introducing adaptations of LeJEPA and DINO for time series. These adaptations utilize Discrete Wavelet Transform (DWT) augmentations to enforce invariance to local fluctuations. Our analysis reveals that the pre-training dividend is highly asymmetric: SSL yields gains of up to 375% for anomaly detection and classification, yet remains marginal for forecasting. We demonstrate that representational utility is non-universal, governed by a precision-invariance trade-off where the specific signal resolution required by the task must align with the objective. Finally, we show that representation quality is largely independent of data origin and saturates at moderate architectural depths, suggesting a path to scaling via massive synthetic generation. Our code is available at: https://github.com/noammajor/Models
- Abstract（参考訳）: ビジョンとNLPにおける自己教師型学習(SSL)の成功は、時系列への急速な採用を動機付けている。
しかし、研究は主に生成パラダイムと予測タスクに重点を置いており、学習された表現のより広範な有用性は未確立のままである。
さまざまな時間的タスクにまたがってSSLが付加する価値である事前トレーニング配当(pre-training dividend)を評価するための、制御されたフレームワークを確立します。
我々は、ラテントアライメントアーキテクチャに対する生成パラダイムを体系的に比較し、時系列に対するLeJEPAとDINOの適応を導入する。
これらの適応は離散ウェーブレット変換(DWT)を利用して局所的なゆらぎに不変性を強制する。
SSLは異常検出と分類のために最大375%の利得を得るが、予測には限界がある。
我々は、表現ユーティリティが非普遍的であり、タスクが要求する特定の信号分解能が目的と整合しなくてはならない精度不変のトレードオフによって制御されていることを実証する。
最後に、表現品質はデータ起源とは独立しており、適度なアーキテクチャの深さで飽和していることを示し、大規模な合成生成によるスケーリングの道筋を示唆する。
私たちのコードは、https://github.com/noammajor/Modelsで利用可能です。
関連論文リスト
- Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。
FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。
推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
論文 参考訳（メタデータ） (2026-02-12T18:54:57Z) - Large Language Models as Discounted Bayesian Filters [14.164508061248775]
大規模言語モデル(LLM)におけるオンライン推論を評価するためのベイズフィルタリングフレームワークを提案する。
LLMの信念更新はベイズ的後部と似ているが, モデル固有割引係数が1より小さい指数的忘れフィルタにより, より正確に特徴付けられる。
固有の先入観はしばしば誤解されるが、更新メカニズム自体は構造化され原則化されたままである。
論文 参考訳（メタデータ） (2025-12-20T19:56:39Z) - Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
自己教師付き学習(SSL)における直感的な現象を観察する。
我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。
本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
論文 参考訳（メタデータ） (2025-10-20T08:40:16Z) - How Different from the Past? Spatio-Temporal Time Series Forecasting with Self-Supervised Deviation Learning [15.102926671713668]
時空間連続時間予測フレームワークST-SSDLを提案する。
典型的な時間パターンを表す学習可能なプロトタイプを用いて潜在空間を識別する。
実験によると、ST-SSDLは複数のメトリクスで常に最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2025-10-06T15:21:13Z) - Enhancing Semantic Segmentation with Continual Self-Supervised Pre-training [11.897717409259492]
自己教師付き学習(SSL)は、基礎モデルをトレーニングするための中心的なパラダイムとして登場した。
GLAREは,下流セグメンテーション性能の向上を目的とした,新規な自己教師型事前学習タスクである。
論文 参考訳（メタデータ） (2025-09-22T14:11:02Z) - ViRN: Variational Inference and Distribution Trilateration for Long-Tailed Continual Representation Learning [6.253882111488726]
ViRNは、変動推論と分布三元化を統合した、堅牢な長期学習のための新しいフレームワークである。
音声(まれな音響イベント、アクセント)や画像タスクを含む6つの長い尾の分類ベンチマークで評価される。
最先端の手法よりも平均精度が10.24%向上する。
論文 参考訳（メタデータ） (2025-07-23T10:04:30Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Federated Class-Incremental Learning with Hierarchical Generative Prototypes [10.532838477096055]
Federated Learning (FL)は、複数のデバイス(クライアント)に分散した計算をすることで、ディープモデルのトレーニングを解き放つことを目的としている。
提案手法は,学習可能なプロンプトを用いてトレーニング済みのバックボーンを効率よく微調整することにより,最終層のバイアスを抑える。
提案手法は現状を著しく改善し, 平均精度は+7.8%向上した。
論文 参考訳（メタデータ） (2024-06-04T16:12:27Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳（メタデータ） (2020-07-17T21:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。