論文の概要: Retrieval-Based Reconstruction For Time-series Contrastive Learning

• arxiv url: http://arxiv.org/abs/2311.00519v2
• Date: Thu, 7 Dec 2023 15:20:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 18:14:01.800544
• Title: Retrieval-Based Reconstruction For Time-series Contrastive Learning
• Title（参考訳）: 時系列コントラスト学習のための検索ベース再構築
• Authors: Maxwell A. Xu, Alexander Moreno, Hui Wei, Benjamin M. Marlin, James M. Rehg
• Abstract要約: 本稿では,Retrieval-Based Reconstruction (REBAR) のコントラスト学習について紹介する。 まず、畳み込み型クロスアテンションアーキテクチャを用いて、2つの異なる時系列間のREBAR誤差を計算する。 本稿では,REBARエラーが相互クラスメンバシップの予測子であることを示し,正負のラベル付けとしての利用を正当化する。
• 参考スコア（独自算出の注目度）: 67.90328731570712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of self-supervised contrastive learning hinges on identifying positive data pairs that, when pushed together in embedding space, encode useful information for subsequent downstream tasks. However, in time-series, this is challenging because creating positive pairs via augmentations may break the original semantic meaning. We hypothesize that if we can retrieve information from one subsequence to successfully reconstruct another subsequence, then they should form a positive pair. Harnessing this intuition, we introduce our novel approach: REtrieval-BAsed Reconstruction (REBAR) contrastive learning. First, we utilize a convolutional cross-attention architecture to calculate the REBAR error between two different time-series. Then, through validation experiments, we show that the REBAR error is a predictor of mutual class membership, justifying its usage as a positive/negative labeler. Finally, once integrated into a contrastive learning framework, our REBAR method can learn an embedding that achieves state-of-the-art performance on downstream tasks across various modalities.
• Abstract（参考訳）: 自己教師型コントラスト学習の成功は、後続の下流タスクに有用な情報をエンコードする、ポジティブなデータペアの特定に寄与する。 しかし、時系列では、拡張による正のペアの生成が本来の意味を損なう可能性があるため、これは難しい。 あるサブシーケンスから情報を取得して別のサブシーケンスをうまく再構築できれば、それらは正のペアを形成するべきだと仮定する。 この直感を生かして,新しいアプローチであるRetrieval-Based Reconstruction (REBAR) のコントラスト学習を紹介した。 まず、畳み込み型クロスアテンションアーキテクチャを用いて、2つの異なる時系列間のREBAR誤差を計算する。 そして、検証実験により、REBARエラーが相互クラスメンバシップの予測子であることを示し、正負ラベルとしての使用を正当化する。 最後に、一度コントラスト学習フレームワークに統合されたREBAR法は、様々なモードで下流タスクにおける最先端のパフォーマンスを実現する埋め込みを学習できる。

関連論文リスト

• Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
  双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations [6.265789210037749]
  コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。 また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-07-20T15:02:42Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Connective Reconstruction-based Novelty Detection [3.7706789983985303]
  ディープラーニングにより、説明できないサンプルを含む実世界のデータを分析できるようになった。 GANベースのアプローチは、分散フィッティングを行う能力のため、この問題に対処するために広く利用されている。 本稿では,GANモデルの制約を補うために複雑化を伴わない,シンプルで効率的な再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T11:09:39Z)
• Extending Momentum Contrast with Cross Similarity Consistency Regularization [5.085461418671174]
  モーメントエンコーダユニットの遺産に基づく自己教師型表現学習手法であるExtended Momentum ContrastをMoCoファミリー構成で提案する。 交差一貫性規則の下では、任意の一対のイメージ(正あるいは負)に関連付けられた意味表現は、それらの相似性を維持するべきであると論じる。 我々は、標準のImagenet-1K線形ヘッド分類ベンチマークで競合性能を報告した。
  論文  参考訳（メタデータ） (2022-06-07T20:06:56Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。