論文の概要: SimPer: Simple Self-Supervised Learning of Periodic Targets

• arxiv url: http://arxiv.org/abs/2210.03115v1
• Date: Thu, 6 Oct 2022 17:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:15:09.178620
• Title: SimPer: Simple Self-Supervised Learning of Periodic Targets
• Title（参考訳）: SimPer: 周期的ターゲットの簡単な自己教師付き学習
• Authors: Yuzhe Yang, Xin Liu, Jiang Wu, Silviu Borac, Dina Katabi, Ming-Zher Poh, Daniel McDuff
• Abstract要約: SimPerは、データ内の周期的な情報を学習するための、対照的な自己教師型学習システムである。 人間の行動分析、環境センシング、医療領域における一般的な現実世界のタスクの実験は、SimPerの優れたパフォーマンスを検証する。
• 参考スコア（独自算出の注目度）: 29.457369381057774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: From human physiology to environmental evolution, important processes in nature often exhibit meaningful and strong periodic or quasi-periodic changes. Due to their inherent label scarcity, learning useful representations for periodic tasks with limited or no supervision is of great benefit. Yet, existing self-supervised learning (SSL) methods overlook the intrinsic periodicity in data, and fail to learn representations that capture periodic or frequency attributes. In this paper, we present SimPer, a simple contrastive SSL regime for learning periodic information in data. To exploit the periodic inductive bias, SimPer introduces customized augmentations, feature similarity measures, and a generalized contrastive loss for learning efficient and robust periodic representations. Extensive experiments on common real-world tasks in human behavior analysis, environmental sensing, and healthcare domains verify the superior performance of SimPer compared to state-of-the-art SSL methods, highlighting its intriguing properties including better data efficiency, robustness to spurious correlations, and generalization to distribution shifts. Code and data are available at: https://github.com/YyzHarry/SimPer.
• Abstract（参考訳）: 人間の生理学から環境進化まで、自然における重要な過程は、しばしば有意義で強い周期的または準周期的な変化を示す。 固有のラベルの不足のため、限定的あるいは全く監督しない周期的タスクの有用な表現を学ぶことは大きな利益となる。 しかし、既存の自己教師付き学習(SSL)手法は、データの本質的な周期性を見落とし、周期的または周波数的属性をキャプチャする表現を学ばない。 本稿では,データ内の周期情報を学習するための単純なコントラスト型SSLシステムであるSimPerを提案する。 周期的帰納バイアスを活用するために、SimPerは、カスタマイズされた拡張、特徴類似度尺度、そして、効率的で堅牢な周期表現を学習するための一般化されたコントラスト的損失を導入する。 人間の行動分析、環境センシング、医療分野における一般的な現実世界のタスクに関する広範囲な実験は、最先端のssl法と比較して、simperの優れた性能を検証し、データ効率の向上、スプリアス相関への堅牢性、分散シフトの一般化といった興味深い特性を強調している。 コードとデータは、https://github.com/YyzHarry/SimPer.comで入手できる。

関連論文リスト

• Improving Self-supervised Molecular Representation Learning using Persistent Homology [6.263470141349622]
  自己教師付き学習(SSL)は、分子表現学習に大きな可能性を秘めている。 本稿では,複数のスケールにまたがるデータのトポロジ的特徴をモデル化するための数学的ツールである永続ホモロジー(PH)に基づくSSLについて検討する。
  論文  参考訳（メタデータ） (2023-11-29T02:58:30Z)
• Enhancing Representation Learning for Periodic Time Series with Floss: A Frequency Domain Regularization Approach [26.92614573306619]
  本稿では、周波数領域における学習表現を自動的に正規化するFlossと呼ばれる教師なし手法を提案する。 我々は、Flossの有効性を示すために、一般的な時系列分類、予測、異常検出タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T08:37:45Z)
• STS-CCL: Spatial-Temporal Synchronous Contextual Contrastive Learning for Urban Traffic Forecasting [4.947443433688782]
  本研究は、高度なコントラスト学習を採用し、新しい時空間コントラスト学習(STS-CCL)モデルを提案する。 STS-CCLコントラスト学習モデルに基づく予測器の構築は,既存のトラフィック予測ベンチマークよりも優れた性能を発揮することを示す実験と評価を行った。
  論文  参考訳（メタデータ） (2023-07-05T03:47:28Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Analyzing Data-Centric Properties for Contrastive Learning on Graphs [32.69353929886551]
  コントラスト学習(CL)のようなグラフSSLメソッドはどのように機能するかを検討する。 我々の研究は、実験的にも理論的にも、データ中心のプロパティがグラフSSLの強化戦略や学習パラダイムに与える影響を厳格に文脈化しています。
  論文  参考訳（メタデータ） (2022-08-04T17:58:37Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。