論文の概要: Improving Time Series Encoding with Noise-Aware Self-Supervised Learning and an Efficient Encoder
- arxiv url: http://arxiv.org/abs/2306.06579v3
- Date: Sat, 05 Oct 2024 02:44:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:11:20.433307
- Title: Improving Time Series Encoding with Noise-Aware Self-Supervised Learning and an Efficient Encoder
- Title（参考訳）: 雑音を考慮した自己教師付き学習と効率的なエンコーダによる時系列符号化の改善
- Authors: Duy A. Nguyen, Trang H. Tran, Huy Hieu Pham, Phi Le Nguyen, Lam M. Nguyen,
- Abstract要約: 本稿では,自然時系列におけるノイズ発生信号の存在を考慮し,一貫した表現学習を促進する革新的な学習戦略を提案する。
また,インセプションブロック内に拡張畳み込みを組み込んだエンコーダアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 15.39384259348351
- License:
- Abstract: In this work, we investigate the time series representation learning problem using self-supervised techniques. Contrastive learning is well-known in this area as it is a powerful method for extracting information from the series and generating task-appropriate representations. Despite its proficiency in capturing time series characteristics, these techniques often overlook a critical factor - the inherent noise in this type of data, a consideration usually emphasized in general time series analysis. Moreover, there is a notable absence of attention to developing efficient yet lightweight encoder architectures, with an undue focus on delivering contrastive losses. Our work address these gaps by proposing an innovative training strategy that promotes consistent representation learning, accounting for the presence of noise-prone signals in natural time series. Furthermore, we propose an encoder architecture that incorporates dilated convolution within the Inception block, resulting in a scalable and robust network with a wide receptive field. Experimental findings underscore the effectiveness of our method, consistently outperforming state-of-the-art approaches across various tasks, including forecasting, classification, and abnormality detection. Notably, our method attains the top rank in over two-thirds of the classification UCR datasets, utilizing only 40% of the parameters compared to the second-best approach. Our source code for CoInception framework is accessible at https://github.com/anhduy0911/CoInception.
- Abstract（参考訳）: 本研究では,自己教師付き手法を用いた時系列表現学習問題について検討する。
コントラスト学習はこの分野でよく知られており、シリーズから情報を抽出し、タスクに適した表現を生成するための強力な方法である。
時系列の特徴を捉える能力にもかかわらず、これらの手法は、しばしば重要な要因である、この種のデータに固有のノイズを見落としている。
さらに、効率的な軽量エンコーダアーキテクチャの開発には注目すべき注意が払われていない。
本研究は,自然時系列における雑音波信号の存在を考慮し,一貫した表現学習を促進する革新的な学習戦略を提案することによって,これらのギャップに対処する。
さらに,インセプションブロック内に拡張畳み込みを組み込んだエンコーダアーキテクチャを提案する。
実験結果から, 予測, 分類, 異常検出など, 様々なタスクにおいて, 最先端のアプローチを一貫して上回る結果が得られた。
特に,本手法はUCRデータセットの分類の3分の2以上で上位にランクされ,第2のアプローチと比較してパラメータの40%しか利用されていない。
CoInceptionフレームワークのソースコードはhttps://github.com/anhduy0911/CoInception.comからアクセスできます。
関連論文リスト
- Enhancing Hyperspectral Image Prediction with Contrastive Learning in Low-Label Regime [0.810304644344495]
自己教師付きコントラスト学習は、限られたラベル付きデータの課題に対処するための効果的なアプローチである。
単一ラベルと複数ラベルの分類タスクに対して,本手法の性能を評価する。
論文 参考訳（メタデータ） (2024-10-10T10:20:16Z) - Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - Unsupervised Multi-modal Feature Alignment for Time Series
Representation Learning [20.655943795843037]
異なるモダリティから符号化された時系列表現の整合と結合に焦点を当てた革新的なアプローチを導入する。
複数のモーダルから特徴を融合させる従来の手法とは対照的に,提案手法は単一時系列エンコーダを保持することにより,ニューラルアーキテクチャを単純化する。
我々のアプローチは、様々な下流タスクにまたがる既存の最先端のURLメソッドよりも優れています。
論文 参考訳（メタデータ） (2023-12-09T22:31:20Z) - Video Anomaly Detection using GAN [0.0]
この論文は、このユースケースに対する解決策を提供することを目的としており、監視システム記録の異常な活動に目を通すために人的資源が不要になるようにする。
我々は,新しいGANに基づく異常検出モデルを開発した。
論文 参考訳（メタデータ） (2023-11-23T16:41:30Z) - A Co-training Approach for Noisy Time Series Learning [35.61140756248812]
エンコーダを学習するために,協調学習に基づくコントラスト学習を反復的に実施する。
我々の実験は、このコトレーニングアプローチが性能を著しく向上させることを示した。
TS-CoTが既存の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-08-24T04:33:30Z) - AntPivot: Livestream Highlight Detection via Hierarchical Attention
Mechanism [64.70568612993416]
本稿では,Livestream Highlight Detectionという新たなタスクを定式化し,上記の課題を議論・分析し,新しいアーキテクチャAntPivotを提案する。
我々は、このタスクをインスタンス化し、我々のモデルの性能を評価するために、完全に注釈付きデータセットAntHighlightを構築した。
論文 参考訳（メタデータ） (2022-06-10T05:58:11Z) - Representation Learning for Sequence Data with Deep Autoencoding
Predictive Components [96.42805872177067]
本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。
我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。
提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
論文 参考訳（メタデータ） (2020-10-07T03:34:01Z) - A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D
Skeleton Based Person Re-Identification [65.18004601366066]
3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。
本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
論文 参考訳（メタデータ） (2020-09-05T16:06:04Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳（メタデータ） (2020-05-08T01:59:23Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。