論文の概要: Retrieval-Based Reconstruction For Time-series Contrastive Learning
- arxiv url: http://arxiv.org/abs/2311.00519v2
- Date: Thu, 7 Dec 2023 15:20:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 18:14:01.800544
- Title: Retrieval-Based Reconstruction For Time-series Contrastive Learning
- Title(参考訳): 時系列コントラスト学習のための検索ベース再構築
- Authors: Maxwell A. Xu, Alexander Moreno, Hui Wei, Benjamin M. Marlin, James M.
Rehg
- Abstract要約: 本稿では,Retrieval-Based Reconstruction (REBAR) のコントラスト学習について紹介する。
まず、畳み込み型クロスアテンションアーキテクチャを用いて、2つの異なる時系列間のREBAR誤差を計算する。
本稿では,REBARエラーが相互クラスメンバシップの予測子であることを示し,正負のラベル付けとしての利用を正当化する。
- 参考スコア(独自算出の注目度): 67.90328731570712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of self-supervised contrastive learning hinges on identifying
positive data pairs that, when pushed together in embedding space, encode
useful information for subsequent downstream tasks. However, in time-series,
this is challenging because creating positive pairs via augmentations may break
the original semantic meaning. We hypothesize that if we can retrieve
information from one subsequence to successfully reconstruct another
subsequence, then they should form a positive pair. Harnessing this intuition,
we introduce our novel approach: REtrieval-BAsed Reconstruction (REBAR)
contrastive learning. First, we utilize a convolutional cross-attention
architecture to calculate the REBAR error between two different time-series.
Then, through validation experiments, we show that the REBAR error is a
predictor of mutual class membership, justifying its usage as a
positive/negative labeler. Finally, once integrated into a contrastive learning
framework, our REBAR method can learn an embedding that achieves
state-of-the-art performance on downstream tasks across various modalities.
- Abstract(参考訳): 自己教師型コントラスト学習の成功は、後続の下流タスクに有用な情報をエンコードする、ポジティブなデータペアの特定に寄与する。
しかし、時系列では、拡張による正のペアの生成が本来の意味を損なう可能性があるため、これは難しい。
あるサブシーケンスから情報を取得して別のサブシーケンスをうまく再構築できれば、それらは正のペアを形成するべきだと仮定する。
この直感を生かして,新しいアプローチであるRetrieval-Based Reconstruction (REBAR) のコントラスト学習を紹介した。
まず、畳み込み型クロスアテンションアーキテクチャを用いて、2つの異なる時系列間のREBAR誤差を計算する。
そして、検証実験により、REBARエラーが相互クラスメンバシップの予測子であることを示し、正負ラベルとしての使用を正当化する。
最後に、一度コントラスト学習フレームワークに統合されたREBAR法は、様々なモードで下流タスクにおける最先端のパフォーマンスを実現する埋め込みを学習できる。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Reframing Offline Reinforcement Learning as a Regression Problem [0.0]
本研究は,決定木を用いて解ける回帰問題として,オフライン強化学習の改革を提案する。
勾配木ではエージェントのトレーニングと推論が非常に高速であることが観察された。
この改良された問題に固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2024-01-21T23:50:46Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Unsupervised Dense Retrieval with Relevance-Aware Contrastive
Pre-Training [81.3781338418574]
関連性を考慮したコントラスト学習を提案する。
我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。
本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
論文 参考訳(メタデータ) (2023-06-05T18:20:27Z) - Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。
自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。
本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
論文 参考訳(メタデータ) (2023-03-02T07:44:06Z) - Connective Reconstruction-based Novelty Detection [3.7706789983985303]
ディープラーニングにより、説明できないサンプルを含む実世界のデータを分析できるようになった。
GANベースのアプローチは、分散フィッティングを行う能力のため、この問題に対処するために広く利用されている。
本稿では,GANモデルの制約を補うために複雑化を伴わない,シンプルで効率的な再構成手法を提案する。
論文 参考訳(メタデータ) (2022-10-25T11:09:39Z) - READ: Aggregating Reconstruction Error into Out-of-distribution
Detection [5.069442437365223]
ディープニューラルネットワークは異常なデータに対する過信であることが知られている。
本稿では,READ(Reconstruction Error Aggregated Detector)を提案する。
本手法は,従来のOOD検出アルゴリズムと比較して,FPR@95TPRの平均値を最大9.8%削減する。
論文 参考訳(メタデータ) (2022-06-15T11:30:41Z) - Remembering for the Right Reasons: Explanations Reduce Catastrophic
Forgetting [100.75479161884935]
我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。
RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。
メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
論文 参考訳(メタデータ) (2020-10-04T10:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。