論文の概要: A survey on Self Supervised learning approaches for improving Multimodal
representation learning
- arxiv url: http://arxiv.org/abs/2210.11024v1
- Date: Thu, 20 Oct 2022 05:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 13:22:19.445445
- Title: A survey on Self Supervised learning approaches for improving Multimodal
representation learning
- Title(参考訳): マルチモーダル表現学習改善のための自己指導型学習手法の検討
- Authors: Naman Goyal
- Abstract要約: 本稿では,マルチモーダル学習における自己指導型学習手法の概要について述べる。
本稿では, クロスモーダル生成, クロスモーダル事前学習, サイクリック翻訳, 単調ラベル生成について述べる。
- 参考スコア(独自算出の注目度): 13.581713668241552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently self supervised learning has seen explosive growth and use in
variety of machine learning tasks because of its ability to avoid the cost of
annotating large-scale datasets.
This paper gives an overview for best self supervised learning approaches for
multimodal learning. The presented approaches have been aggregated by extensive
study of the literature and tackle the application of self supervised learning
in different ways. The approaches discussed are cross modal generation, cross
modal pretraining, cyclic translation, and generating unimodal labels in self
supervised fashion.
- Abstract(参考訳): 近年の自己教師型学習は、大規模データセットの注釈付けコストを回避する能力のため、さまざまな機械学習タスクで爆発的な成長と利用が見られた。
本稿では,マルチモーダル学習のための最善の自己教師あり学習手法について概説する。
提示したアプローチは、文献の広範な研究と、異なる方法で自己監督学習の応用によって集約されている。
提案手法は, クロスモーダル生成, クロスモーダル事前学習, サイクリック翻訳, および自己監督型一助ラベルの生成である。
関連論文リスト
- Self-Supervised Learning in Event Sequences: A Comparative Study and
Hybrid Approach of Generative Modeling and Contrastive Learning [14.885714704999799]
本研究では,イベントシーケンスの表現を得るための自己指導型学習手法について検討する。
これは様々なアプリケーションにおいて重要なモダリティであり、銀行、電子商取引、医療に限らない。
生成的および対照的な埋め込みを異なるモダリティとして整列させる新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-29T07:50:28Z) - LALM: Long-Term Action Anticipation with Language Models [74.10147822693791]
言語モデル(LALM)を用いた長期的行動予測のための新しいアプローチを提案する。
本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。
実験の結果、LALMは長期的な行動予測のタスクにおいて最先端の手法を超越していることが示された。
論文 参考訳(メタデータ) (2023-11-29T02:17:27Z) - Towards Generalized Multi-stage Clustering: Multi-view Self-distillation [10.368796552760571]
既存のマルチステージクラスタリング手法は、独立して複数のビューから健全な特徴を学習し、クラスタリングタスクを実行する。
本稿では,多視点自己蒸留(DistilMVC)を導入し,ラベル分布の暗黒知識を抽出する多段階深層MVCフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-29T03:35:34Z) - Mastering Robot Manipulation with Multimodal Prompts through Pretraining
and Multi-task Fine-tuning [51.80266015638394]
マルチタスクの専門家軌道からマルチモーダルプロンプトを用いたロボット操作のポリシーを学習するフレームワークを提案する。
本手法は,逆ダイナミクス事前学習とマルチタスク微調整を行う2段階の訓練パイプラインから構成される。
実験により,本手法のVIMA-BENCHに対する有効性を評価し,新たな最先端(成功率10%向上)を確立した。
論文 参考訳(メタデータ) (2023-10-14T22:24:58Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳(メタデータ) (2023-06-16T08:13:41Z) - Multimodality Representation Learning: A Survey on Evolution,
Pretraining and Its Applications [47.501121601856795]
マルチモダリティ表現学習は、異なるモダリティとそれらの相関から情報を埋め込む学習手法である。
異なるモダリティからのクロスモーダル相互作用と補完情報は、高度なモデルが任意のマルチモーダルタスクを実行するために不可欠である。
本調査では,深層学習型マルチモーダルアーキテクチャの進化と拡張に関する文献を報告する。
論文 参考訳(メタデータ) (2023-02-01T11:48:34Z) - Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal
Human Activity Recognition [1.869225486385596]
複数のモダリティを活用することによって、より良い認識がもたらされるという仮説を探求する。
我々は、近年、人間活動認識の課題に対して、多くの対照的な自己監督的アプローチを拡張している。
マルチモーダルな自己教師型学習を実現するための,フレキシブルで汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-20T10:39:16Z) - Self-Supervised Representation Learning: Introduction, Advances and
Challenges [125.38214493654534]
自己教師付き表現学習手法は、大きな注釈付きデータセットを必要とせずに強力な機能学習を提供することを目的としている。
本稿では、この活気ある領域について、鍵となる概念、アプローチの4つの主要なファミリーと関連する技術の状態、そして、データの多様性に自己監督手法を適用する方法について紹介する。
論文 参考訳(メタデータ) (2021-10-18T13:51:22Z) - A Survey on Contrastive Self-supervised Learning [0.0]
自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。
コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。
本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
論文 参考訳(メタデータ) (2020-10-31T21:05:04Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。