論文の概要: CF-JEPA: Mask-free forward prediction with asymmetric encoder utilization for time-series representation learning

• arxiv url: http://arxiv.org/abs/2606.07031v1
• Date: Fri, 05 Jun 2026 08:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.637076
• Title: CF-JEPA: Mask-free forward prediction with asymmetric encoder utilization for time-series representation learning
• Title（参考訳）: CF-JEPA:時系列表現学習のための非対称エンコーダを用いたマスクフリー前方予測
• Authors: Jaehoon Lee, Sunghyun Sim,
• Abstract要約: クロップベースのForward JEPAは、マスクをマルチ水平前方予測に置き換える革新的なマスクフリーフレームワークとして提案されている。 オンラインエンコーダと指数移動平均(EMA)目標エンコーダとの間には強い非対称性が同定され、どちらも単一のトレーニングランから生成される。 CF-JEPA は自己監督ベースラインの中で UCR と UEA の最高平均精度とランクを達成している。
• 参考スコア（独自算出の注目度）: 3.526682160724688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) for time-series representation learning is dominated by two paradigms: contrastive methods, which face challenges in constructing positive or negative pairs, and masking-based methods, which disrupt the temporal continuity of time-series signals. Joint-Embedding Predictive Architecture (JEPA) offers a promising alternative by predicting in representation space rather than reconstructing raw inputs. However, existing time-series JEPA variants still rely on masking and therefore inherit its continuity problem. Crop-based Forward JEPA (CF-JEPA) is proposed as an innovative mask-free framework that replaces masking with multi-horizon forward prediction: random crops serve as context views, and short-, mid-, and long-horizon future representations are predicted in the forward temporal direction, directly leveraging the inherent temporal ordering of time-series data as a learning signal. A strong asymmetry is also identified between the online encoder and the exponential moving average (EMA) target encoder, both produced from a single training run: the online encoder develops higher-rank discriminative features, while the EMA target encoder develops smoother, lower-rank temporal features. Exploiting this asymmetry, classification is routed to the online encoder and forecasting or anomaly detection to the EMA target encoder, achieving a 27% reduction in multivariate forecasting mean squared error (MSE) at no additional training cost. Across 126 University of California, Riverside (UCR) and 26 University of East Anglia (UEA) classification datasets, eight electricity transformer temperature forecasting benchmarks, and Key Performance Indicator /Yahoo anomaly detection, CF-JEPA achieves the highest average accuracy and rank on UCR and UEA among self-supervised baselines and ranks second on univariate forecasting and k-nearest neighbors-scored anomaly detection.
• Abstract（参考訳）: 時系列表現学習のための自己教師付き学習(SSL)は、正あるいは負のペアを構築する上で困難に直面している対照的な方法と、時系列信号の時間的連続性を阻害するマスキングに基づく方法の2つのパラダイムによって支配されている。 JEPA(Joint-Embedding Predictive Architecture)は、生の入力を再構築するのではなく、表現空間で予測することで、有望な代替手段を提供する。 しかし、既存の時系列JEPA変種は依然としてマスキングに依存しているため、継続性問題を継承している。 ランダムな作物はコンテキストビューとして機能し、短軸、中軸、長軸の将来の表現は前側側方向で予測され、時系列データの時間的順序を学習信号として直接活用する。 オンラインエンコーダと指数移動平均(EMA)ターゲットエンコーダの間にも強い非対称性が識別され、オンラインエンコーダは高階の識別特性を発達させ、EMAターゲットエンコーダはより滑らかで低階の時間的特徴を発達させる。 この非対称性を行使すると、分類をオンラインエンコーダにルーティングし、EMAターゲットエンコーダに予測または異常検出を行い、追加の訓練コストなしで多変量予測平均二乗誤差(MSE)を27%削減する。 カリフォルニア大学リバーサイド校(UCR)と26の東アングリア大学(UEA)分類データセット、8つの電気トランスフォーマー温度予測ベンチマーク、およびキーパフォーマンス指標/Yahoo異常検出において、CF-JEPAは自己監督ベースラインの中でUCRとUEAの平均精度とランクを達成し、単変量予測とk-nearest 隣人の異常検出で2位にランクインしている。

関連論文リスト

• HEPA: A Self-Supervised Horizon-Conditioned Event Predictive Architecture for Time Series [1.592463731034439]
  HEPA(Horizon-conditioned Event Predictive Architecture)は2つの重要な原則に基づいて構築されている。 因果トランスフォーマーエンコーダはJEPA(Joint-Embedding Predictive Architecture)を介して事前訓練される 我々はエンコーダを凍結し、予測器のみを目標事象に向けて微調整し、地平線上の単調生存累積分布関数(CDF)を生成する。
  論文  参考訳（メタデータ） (2026-05-11T18:38:03Z)
• Advancing accelerator virtual beam diagnostics through latent evolution modeling: an integrated solution to forward, inverse, tuning, and UQ problems [46.568487965999225]
  我々は,高次元位相空間を低次元表現に投影するオートエンコーダと,潜時空間における時間ダイナミクスを学習するための変換器を備えたハイブリッド機械学習フレームワークであるLatent Evolution Model (LEM)を提案する。 テキストフォワードモデリングでは、CVAEは6次元位相空間の15のユニークな射影を潜在表現に符号化し、トランスフォーマーは上流からの入力から下流の潜在状態を予測する。 テキスト逆問題では、(a)下流観測から上流位相空間を予測すること、(b)潜時空間からRF設定を推定することの2つの異なる課題に対処する。
  論文  参考訳（メタデータ） (2026-02-26T04:46:26Z)
• Real-Time Proactive Anomaly Detection via Forward and Backward Forecast Modeling [0.0]
  本稿では,前向き予測モデル (FFM) と後向き再構成モデル (BRM) の2つの前向きな異常検出フレームワークを紹介する。 FFMは破壊を予想する将来のシーケンスを予測し、BRMは将来の状況から最近の歴史を再構築し、初期の前駆体を明らかにする。 我々のモデルは連続的および離散的多変量特徴の両方をサポートし、実環境における堅牢な性能を実現する。
  論文  参考訳（メタデータ） (2026-02-12T03:57:41Z)
• Keep the Lights On, Keep the Lengths in Check: Plug-In Adversarial Detection for Time-Series LLMs in Energy Forecasting [35.31487571405278]
  本稿では,TS-LLMの可変長入力機能を利用したプラグイン検出フレームワークを提案する。 我々は3つのエネルギーデータセットにまたがる3つの代表的なTS-LLMに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2025-12-13T03:24:36Z)
• EMForecaster: A Deep Learning Framework for Time Series Forecasting in Wireless Networks with Distribution-Free Uncertainty Quantification [11.88654374102813]
  我々は、textitEMForecasterと呼ばれるディープラーニング(DL)時系列予測フレームワークを開発した。 EMForecasterは、短期と長期の両方の予測地平線にまたがって、さまざまなデータセットで優れたパフォーマンスを実現している。 ポイント予測タスクでは、EMForecasterは現在の最先端のDLアプローチを大きく上回り、Transformerアーキテクチャよりも53.97%、ベースラインモデルの平均より38.44%改善している。
  論文  参考訳（メタデータ） (2025-03-31T18:10:08Z)
• Self-supervised Multi-future Occupancy Forecasting for Autonomous Driving [31.995016095663544]
  LiDARで生成された占有グリッドマップ(L-OGM)は、シーン表現のための頑丈な鳥眼ビューを提供する。 提案するフレームワークであるLOPR(Latent Occupancy Prediction)は、生成アーキテクチャの潜在空間においてL-OGM予測を行う。
  論文  参考訳（メタデータ） (2024-07-30T18:37:59Z)
• ARFA: An Asymmetric Receptive Field Autoencoder Model for Spatiotemporal Prediction [55.30913411696375]
  本稿では,非対称な受容場オートエンコーダ (ARFA) モデルを提案する。 エンコーダでは,大域的時間的特徴抽出のための大規模なカーネルモジュールを提案し,デコーダでは局所的時間的再構成のための小さなカーネルモジュールを開発する。 降水予測のための大規模レーダエコーデータセットであるRainBenchを構築し,その領域における気象データの不足に対処する。
  論文  参考訳（メタデータ） (2023-09-01T07:55:53Z)
• RARE: Robust Masked Graph Autoencoder [45.485891794905946]
  Masked graph autoencoder (MGAE) は、有望な自己教師付きグラフ事前学習(SGP)パラダイムとして登場した。 本稿では,ロバストmAsked gRaph autoEncoder (RARE) と呼ばれる新しいSGP手法を提案する。
  論文  参考訳（メタデータ） (2023-04-04T03:35:29Z)
• Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  本稿では,カリキュラム学習とメモリ駆動デコーダによる冗長性を緩和する新しいフレームワークであるCLMFormerを紹介する。 CLMFormerはTransformerベースのモデルを最大30%改善し、長距離予測の有効性を示している。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。