論文の概要: rETF-semiSL: Semi-Supervised Learning for Neural Collapse in Temporal Data

• arxiv url: http://arxiv.org/abs/2508.10147v1
• Date: Wed, 13 Aug 2025 19:16:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.095922
• Title: rETF-semiSL: Semi-Supervised Learning for Neural Collapse in Temporal Data
• Title（参考訳）: rETF-semiSL:時空間データにおける神経崩壊の半教師付き学習
• Authors: Yuhan Xie, William Cappelletti, Mahsa Shoaran, Pascal Frossard,
• Abstract要約: 本稿では,ニューラル・コラプス現象を満たす潜在表現を強制する,新しい半教師付き事前学習戦略を提案する。 LSTM, トランスフォーマー, 状態空間モデルに適用した場合, 従来のプリテキストタスクよりも有意に優れることを示す。
• 参考スコア（独自算出の注目度）: 44.17657834678967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks for time series must capture complex temporal patterns, to effectively represent dynamic data. Self- and semi-supervised learning methods show promising results in pre-training large models, which -- when finetuned for classification -- often outperform their counterparts trained from scratch. Still, the choice of pretext training tasks is often heuristic and their transferability to downstream classification is not granted, thus we propose a novel semi-supervised pre-training strategy to enforce latent representations that satisfy the Neural Collapse phenomenon observed in optimally trained neural classifiers. We use a rotational equiangular tight frame-classifier and pseudo-labeling to pre-train deep encoders with few labeled samples. Furthermore, to effectively capture temporal dynamics while enforcing embedding separability, we integrate generative pretext tasks with our method, and we define a novel sequential augmentation strategy. We show that our method significantly outperforms previous pretext tasks when applied to LSTMs, transformers, and state-space models on three multivariate time series classification datasets. These results highlight the benefit of aligning pre-training objectives with theoretically grounded embedding geometry.
• Abstract（参考訳）: 時系列のためのディープニューラルネットワークは、動的データを効果的に表現するために、複雑な時間パターンをキャプチャする必要がある。 自己と半教師ありの学習手法は、大きなモデルを事前訓練する有望な結果を示している。 しかし, プレテキストトレーニングタスクの選択はしばしばヒューリスティックであり, 下流分類への移行性は認められないため, 最適訓練されたニューラルネットワーク分類器で観測されるニューラル・コラプス現象を満たす潜在表現を強制する, 半教師付き事前学習戦略を提案する。 ラベル付きサンプルが少ないディープエンコーダの事前訓練には、回転等角形タイトフレーム分類器と擬似ラベル付けを用いる。 さらに,埋め込みセパビリティを強制しながら時間的ダイナミクスを効果的に捉えるために,生成前文タスクを本手法と統合し,新しい逐次拡張戦略を定義する。 本手法は,3つの時系列分類データセット上でのLSTM,トランスフォーマー,状態空間モデルに適用した場合,従来のプリテキストタスクよりも有意に優れていることを示す。 これらの結果は、理論上は基礎的な埋め込み幾何学と事前学習目標を整合させることの利点を浮き彫りにする。

関連論文リスト

• Bridging Neural Networks and Dynamic Time Warping for Adaptive Time Series Classification [2.443957114877221]
  コールドスタート条件に適応し,ラベル付きデータでトレーニング可能な汎用モデルを開発した。 ニューラルネットワークとして、DTW固有の解釈可能性を維持しながら、十分なラベル付きデータが利用可能であれば、トレーニング可能である。
  論文  参考訳（メタデータ） (2025-07-13T23:15:21Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
  連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。 提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-10T16:18:37Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。