論文の概要: Self-Supervised Learning in Event Sequences: A Comparative Study and
Hybrid Approach of Generative Modeling and Contrastive Learning
- arxiv url: http://arxiv.org/abs/2401.15935v2
- Date: Tue, 30 Jan 2024 07:54:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 11:35:25.819444
- Title: Self-Supervised Learning in Event Sequences: A Comparative Study and
Hybrid Approach of Generative Modeling and Contrastive Learning
- Title(参考訳): イベント系列における自己監督型学習:生成モデルとコントラスト学習の比較研究とハイブリッドアプローチ
- Authors: Viktor Moskvoretskii, Dmitry Osin, Egor Shvetsov, Igor Udovichenko,
Maxim Zhelnin, Andrey Dukhovny, Anna Zhimerikina, Albert Efimov, Evgeny
Burnaev
- Abstract要約: 本研究では,イベントシーケンスの表現を得るための自己指導型学習手法について検討する。
これは様々なアプリケーションにおいて重要なモダリティであり、銀行、電子商取引、医療に限らない。
生成的および対照的な埋め込みを異なるモダリティとして整列させる新しい手法を提案する。
- 参考スコア(独自算出の注目度): 14.885714704999799
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study investigates self-supervised learning techniques to obtain
representations of Event Sequences. It is a key modality in various
applications, including but not limited to banking, e-commerce, and healthcare.
We perform a comprehensive study of generative and contrastive approaches in
self-supervised learning, applying them both independently. We find that there
is no single supreme method. Consequently, we explore the potential benefits of
combining these approaches. To achieve this goal, we introduce a novel method
that aligns generative and contrastive embeddings as distinct modalities,
drawing inspiration from contemporary multimodal research.
Generative and contrastive approaches are often treated as mutually
exclusive, leaving a gap for their combined exploration. Our results
demonstrate that this aligned model performs at least on par with, and mostly
surpasses, existing methods and is more universal across a variety of tasks.
Furthermore, we demonstrate that self-supervised methods consistently
outperform the supervised approach on our datasets.
- Abstract(参考訳): 本研究では,イベントシーケンスの表現を得るために,自己教師付き学習手法を検討する。
これは様々なアプリケーションにおいて重要なモダリティであり、銀行、電子商取引、医療に限らない。
自己教師付き学習における生成的および対比的アプローチの包括的研究を行い,両者を独立に適用した。
最高の方法が一つもないことが分かる。
その結果、これらのアプローチを組み合わせることの潜在的な利点を探求する。
この目的を達成するために、現代マルチモーダル研究からインスピレーションを得て、生成的および対照的な埋め込みを異なるモダリティとして整列させる新しい手法を提案する。
生成的かつ対照的なアプローチは、しばしば相互排他的として扱われ、それらの組み合わせによる探索のギャップを残している。
我々の結果は、この整列モデルは、少なくとも既存のメソッドに匹敵し、様々なタスクでより普遍的であることを示す。
さらに,自己教師付き手法がデータセットの教師付き手法より一貫して優れていることを示す。
関連論文リスト
- DeCUR: decoupling common & unique representations for multimodal
self-supervision [23.44643489648528]
マルチモーダルな自己教師型学習のためのDecoupling Common and Unique Representations (DeCUR)を提案する。
モーダル内埋め込みとモーダル内埋め込みを区別することにより、DeCURは異なるモーダル間で補完情報を統合するように訓練される。
シーン分類とセマンティックセグメンテーションの下流タスクにおける一貫した利点を示す。
論文 参考訳(メタデータ) (2023-09-11T08:35:23Z) - Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。
本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
論文 参考訳(メタデータ) (2023-06-13T01:09:18Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and
Applications [97.79283975518047]
複数のモーダルから共同で学習する多くの機械学習システムでは、マルチモーダル相互作用の性質を理解することが中心的な研究課題である。
我々は,この相互作用定量化の課題について,ラベル付き単調データのみを用いた半教師付き環境で検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は、マルチモーダル相互作用の量を定量化するための下界と上界の導出である。
論文 参考訳(メタデータ) (2023-06-07T15:44:53Z) - Discovering Individual Rewards in Collective Behavior through Inverse
Multi-Agent Reinforcement Learning [3.4437947384641032]
政外逆マルチエージェント強化学習アルゴリズム(IMARL)を導入する。
実演を活用することで,アルゴリズムは報酬関数を自動的に発見し,エージェントの効果的なポリシーを学習する。
提案するIMARLアルゴリズムは, 構成成分の観点から, 集合力学を理解するための重要なステップである。
論文 参考訳(メタデータ) (2023-05-17T20:07:30Z) - A survey on Self Supervised learning approaches for improving Multimodal
representation learning [13.581713668241552]
本稿では,マルチモーダル学習における自己指導型学習手法の概要について述べる。
本稿では, クロスモーダル生成, クロスモーダル事前学習, サイクリック翻訳, 単調ラベル生成について述べる。
論文 参考訳(メタデータ) (2022-10-20T05:19:49Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳(メタデータ) (2022-09-27T19:04:36Z) - Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal
Human Activity Recognition [1.869225486385596]
複数のモダリティを活用することによって、より良い認識がもたらされるという仮説を探求する。
我々は、近年、人間活動認識の課題に対して、多くの対照的な自己監督的アプローチを拡張している。
マルチモーダルな自己教師型学習を実現するための,フレキシブルで汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-20T10:39:16Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳(メタデータ) (2021-08-05T15:58:25Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2020-10-27T13:17:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。