論文の概要: MAST: Masked Augmentation Subspace Training for Generalizable Self-Supervised Priors

• arxiv url: http://arxiv.org/abs/2303.03679v1
• Date: Tue, 7 Mar 2023 06:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 16:16:52.148350
• Title: MAST: Masked Augmentation Subspace Training for Generalizable Self-Supervised Priors
• Title（参考訳）: MAST: 汎用的な自己監督型プリミティブのための仮面強化サブスペーストレーニング
• Authors: Chen Huang, Hanlin Goh, Jiatao Gu, Josh Susskind
• Abstract要約: 最近の自己監視学習(SSL)メソッドは、異なるデータ拡張に不変な特徴表現を学習することができる。 本稿では,ダウンストリームタスクにまたがる多種多様なタスクをうまく一般化する自己教師機能について学ぶことを目的とする。
• 参考スコア（独自算出の注目度）: 48.02275488333873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Self-Supervised Learning (SSL) methods are able to learn feature representations that are invariant to different data augmentations, which can then be transferred to downstream tasks of interest. However, different downstream tasks require different invariances for their best performance, so the optimal choice of augmentations for SSL depends on the target task. In this paper, we aim to learn self-supervised features that generalize well across a variety of downstream tasks (e.g., object classification, detection and instance segmentation) without knowing any task information beforehand. We do so by Masked Augmentation Subspace Training (or MAST) to encode in the single feature space the priors from different data augmentations in a factorized way. Specifically, we disentangle the feature space into separate subspaces, each induced by a learnable mask that selects relevant feature dimensions to model invariance to a specific augmentation. We show the success of MAST in jointly capturing generalizable priors from different augmentations, using both unique and shared features across the subspaces. We further show that MAST benefits from uncertainty modeling to reweight ambiguous samples from strong augmentations that may cause similarity mismatch in each subspace. Experiments demonstrate that MAST consistently improves generalization on various downstream tasks, while being task-agnostic and efficient during SSL. We also provide interesting insights about how different augmentations are related and how uncertainty reflects learning difficulty.
• Abstract（参考訳）: 最近の自己監視学習(SSL)メソッドは、異なるデータ拡張に不変な特徴表現を学習することができる。 しかし、異なるダウンストリームタスクは、最高のパフォーマンスのために異なる不変性を必要とするため、SSLの拡張の最適な選択は、ターゲットタスクに依存する。 本稿では,タスク情報を事前に知ることなく,さまざまな下流タスク(オブジェクト分類,検出,インスタンスセグメンテーションなど)にまたがる自己教師付き特徴を学習することを目的とする。 私たちはMasked Augmentation Subspace Training(MAST)によって、異なるデータ拡張から前のものをファクタライズされた方法で単一の機能空間にエンコードします。 具体的には、特徴空間を別々の部分空間に分割し、それぞれが学習可能なマスクによって引き起こされ、関連する特徴次元を選択し、特定の拡張に対する不変性をモデル化する。 我々は,各部分空間にまたがる特徴と共有機能を用いて,異なる拡張から一般化可能な事前情報を共同取得する上で,MASTの成功を示す。 さらに,各部分空間の類似性ミスマッチを引き起こす強い増補により,不確実性モデリングから曖昧なサンプルの重み付けに寄与することを示した。 実験によると、MASTはさまざまな下流タスクの一般化を一貫して改善し、SSLの間はタスクに依存しない、効率的である。 また、異なる拡張がどう関連しているか、不確実性は学習の難しさを反映しているのか、興味深い洞察を提供する。

関連論文リスト

• Generative Subspace Adversarial Active Learning for Outlier Detection in Multiple Views of High-dimensional Data [3.501071975888134]
  本稿では,高次元データにおける外乱検出のためのGSAAL(Generative Subspace Adversarial Active Learning)を提案する。 GSAALは、不適切な仮定(IA)、次元の呪い(CD)、多視点(MV)を扱いながら、MV制限に対処するように設計されている。 実験では,GSAALの有効性とスケーラビリティを実証し,他のOD法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-04-20T19:22:05Z)
• Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations [63.73044203154743]
  自己教師付き表現学習は、しばしばデータの「スタイル」属性を誘導するためにデータ拡張を使用する。 データの属性が実際に"スタイル"であり、安全に破棄されるような先入観を推論することは困難である。 スタイル機能を捨てるよりも、スタイル機能を切り離そうとする、より原則化されたアプローチを導入します。
  論文  参考訳（メタデータ） (2023-11-15T09:34:08Z)
• Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
  自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。 本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。 提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
  論文  参考訳（メタデータ） (2023-05-31T12:24:06Z)
• MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations [2.94944680995069]
  本稿では,パラメータ効率のよいマルチタスク型自己教師型フレームワーク(MT-SLVR)を提案する。 我々は,様々な音声領域から抽出された数ショットの分類タスクに対するアプローチを評価し,分類性能の向上を実証した。
  論文  参考訳（メタデータ） (2023-05-29T09:10:50Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。