論文の概要: Contrastive Neural Processes for Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2110.13623v1
- Date: Sun, 24 Oct 2021 21:01:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 12:26:51.278352
- Title: Contrastive Neural Processes for Self-Supervised Learning
- Title（参考訳）: 自己監督型学習のためのコントラストニューラルプロセス
- Authors: Konstantinos Kallidromitis, Denis Gudovskiy, Kozuka Kazuki, Ohama Iku,
Luca Rigazio
- Abstract要約: コントラスト学習とニューラルプロセスを組み合わせた,新たな自己教師型学習フレームワークを提案する。
これは、時系列予測を実行するために、最近のニューラルネットワークプロセスの進歩に依存している。
従来の自己教師型手法とは異なり、拡張パイプラインはタスクに依存しないため、様々なアプリケーションでうまく機能する。
- 参考スコア（独自算出の注目度）: 1.8059331230167266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent contrastive methods show significant improvement in self-supervised
learning in several domains. In particular, contrastive methods are most
effective where data augmentation can be easily constructed e.g. in computer
vision. However, they are less successful in domains without established data
transformations such as time series data. In this paper, we propose a novel
self-supervised learning framework that combines contrastive learning with
neural processes. It relies on recent advances in neural processes to perform
time series forecasting. This allows to generate augmented versions of data by
employing a set of various sampling functions and, hence, avoid manually
designed augmentations. We extend conventional neural processes and propose a
new contrastive loss to learn times series representations in a self-supervised
setup. Therefore, unlike previous self-supervised methods, our augmentation
pipeline is task-agnostic, enabling our method to perform well across various
applications. In particular, a ResNet with a linear classifier trained using
our approach is able to outperform state-of-the-art techniques across
industrial, medical and audio datasets improving accuracy over 10% in ECG
periodic data. We further demonstrate that our self-supervised representations
are more efficient in the latent space, improving multiple clustering indexes
and that fine-tuning our method on 10% of labels achieves results competitive
to fully-supervised learning.
- Abstract（参考訳）: 最近の対照的な手法は、いくつかの領域における自己教師あり学習の大幅な改善を示している。
特にコントラスト法は、コンピュータビジョンなどのデータ拡張を簡単に構築できる場合に最も効果的である。
しかし、時系列データのような確立されたデータ変換がなければ、ドメインでは成功しない。
本稿では,コントラスト学習と神経プロセスを組み合わせた新しい自己教師あり学習フレームワークを提案する。
時系列予測を行うために、最近の神経プロセスの進歩に依存している。
これにより、様々なサンプリング関数のセットを使用することで、拡張されたバージョンのデータを生成することができる。
従来のニューラルプロセスを拡張し、自己教師付き設定で時系列表現を学ぶための新しいコントラスト損失を提案する。
したがって、従来の自己教師ありメソッドとは異なり、拡張パイプラインはタスクに依存しないため、様々なアプリケーションでうまく動作します。
特に,本手法を用いてトレーニングした線形分類器を用いたresnetは,産業,医療,オーディオのデータセット間で最先端技術よりも優れており,ecg周期データの精度が10%以上向上している。
さらに,提案手法を10%のラベルに微調整することで,完全な教師付き学習に匹敵する結果が得られることを示す。
関連論文リスト
- Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。
この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
論文 参考訳（メタデータ） (2024-05-29T15:44:51Z) - Finding Order in Chaos: A Novel Data Augmentation Method for Time Series
in Contrastive Learning [26.053496478247236]
準周期的時系列タスクのための新しいデータ拡張手法を提案する。
提案手法は,新しい手法を取り入れた,よく知られた混合手法に基づいている。
本稿では,心拍数推定,人的活動認識,心血管疾患検出の3つの課題について検討した。
論文 参考訳（メタデータ） (2023-09-23T17:42:13Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳（メタデータ） (2023-08-26T07:55:32Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳（メタデータ） (2023-03-21T15:02:50Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - LEAVES: Learning Views for Time-Series Data in Contrastive Learning [16.84326709739788]
時系列データのための学習ビュー(LEAVES)という,対照的な学習における時系列データのビュー生成を自動化するモジュールを提案する。
提案手法は, 合理的な視点の探索に有効であり, ベースラインよりも下流タスクを効果的に行う。
論文 参考訳（メタデータ） (2022-10-13T20:18:22Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - BERT WEAVER: Using WEight AVERaging to enable lifelong learning for
transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。
WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文 参考訳（メタデータ） (2022-02-21T10:34:41Z) - Multi-Pretext Attention Network for Few-shot Learning with
Self-supervision [37.6064643502453]
補助的なサンプルに依存しない自己教師付き学習のための,新しい拡張不要な手法を提案する。
さらに,従来の拡張信頼手法とGCを組み合わせるために,特定の注意機構を利用するマルチテキスト注意ネットワーク(MAN)を提案する。
miniImageNetおよびtieredImageNetデータセット上でMANを幅広く評価し、提案手法が最新(SOTA)関連手法より優れていることを実証した。
論文 参考訳（メタデータ） (2021-03-10T10:48:37Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Automatic Data Augmentation via Deep Reinforcement Learning for
Effective Kidney Tumor Segmentation [57.78765460295249]
医用画像セグメンテーションのための新しい学習ベースデータ拡張法を開発した。
本手法では,データ拡張モジュールと後続のセグメンテーションモジュールをエンドツーエンドのトレーニング方法で一貫した損失と,革新的に組み合わせる。
提案法の有効性を検証したCT腎腫瘍分節法について,本法を広範囲に評価した。
論文 参考訳（メタデータ） (2020-02-22T14:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。