論文の概要: Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2402.14789v1
• Date: Thu, 22 Feb 2024 18:46:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 14:05:11.592549
• Title: Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
• Title（参考訳）: ドメイン非依存な自己教師付き学習のための自己誘導マスク自動エンコーダ
• Authors: Johnathan Xie, Yoonho Lee, Annie S. Chen, Chelsea Finn
• Abstract要約: 本稿では、完全にドメインに依存しないマスク付きモデリング手法である自己誘導マスク付きオートエンコーダ(SMA)を提案する。 SMAは、マスクを学習し、ドメイン固有の仮定なしでサンプリングすることで、マスクモデリングの目的を用いて注意に基づくモデルを訓練する。 本研究では,タンパク質生物学,化学特性予測,粒子物理の3つの自己教師型学習ベンチマークでSMAを評価した。
• 参考スコア（独自算出の注目度）: 58.93724285214628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning excels in learning representations from large amounts of unlabeled data, demonstrating success across multiple data modalities. Yet, extending self-supervised learning to new modalities is non-trivial because the specifics of existing methods are tailored to each domain, such as domain-specific augmentations which reflect the invariances in the target task. While masked modeling is promising as a domain-agnostic framework for self-supervised learning because it does not rely on input augmentations, its mask sampling procedure remains domain-specific. We present Self-guided Masked Autoencoders (SMA), a fully domain-agnostic masked modeling method. SMA trains an attention based model using a masked modeling objective, by learning masks to sample without any domain-specific assumptions. We evaluate SMA on three self-supervised learning benchmarks in protein biology, chemical property prediction, and particle physics. We find SMA is capable of learning representations without domain-specific knowledge and achieves state-of-the-art performance on these three benchmarks.
• Abstract（参考訳）: 自己教師付き学習は、大量のラベルのないデータから学習表現を抽出し、複数のデータモダリティにまたがる成功を示す。 しかし、既存のメソッドの特異性は、対象タスクの不変性を反映したドメイン固有の拡張など、各ドメインに合わせて調整されているため、自己教師型学習を新しいモダリティに拡張するのは簡単ではない。 マスクモデリングは、入力拡張に依存しないため、自己教師あり学習のためのドメインに依存しないフレームワークとして有望であるが、マスクサンプリング手順はドメイン固有である。 本稿では,完全ドメインに依存しないマスクドモデリング手法であるsma(self-guided masked autoencoders)を提案する。 SMAは、マスクを学習してドメイン固有の仮定なしでサンプリングすることで、マスクモデリングの目的を用いて注意に基づくモデルを訓練する。 本研究では,タンパク質生物学,化学特性予測,粒子物理の3つの自己教師型学習ベンチマークでSMAを評価した。 SMAはドメイン固有の知識を使わずに表現を学習でき、これらの3つのベンチマークで最先端のパフォーマンスを達成することができる。

関連論文リスト

• Model Evaluation for Domain Identification of Unknown Classes in Open-World Recognition: A Proposal [0.0]
  オープンワールド認識(OWR)は、未知を拒絶する機械学習モデルに能力を与える新興分野である。 本研究では,未知のドメイン内(ID)と未知のドメイン外(OOD)を分離するモデルの性能を評価するための評価プロトコルを提案する。 私たちは、ゴミ、食べ物、犬、植物、鳥の5つの異なる領域を実験しました。
  論文  参考訳（メタデータ） (2023-12-09T03:54:25Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• Exploring Target Representations for Masked Autoencoders [78.57196600585462]
  目的表現の注意深い選択は、よい表現を学ぶために不要であることを示す。 本研究では,多段階のマスク蒸留パイプラインを提案し,無作為なモデルを教師として利用する。 自己指導型自己指導法を非自明なマージンで上回り, 自己指導型教員(dBOT)によるマスク付き知識蒸留を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-09-08T16:55:19Z)
• Unsupervised Domain Adaptation for Monocular 3D Object Detection via Self-Training [57.25828870799331]
  我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。 対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。 STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
  論文  参考訳（メタデータ） (2022-04-25T12:23:07Z)
• Intelligent Masking: Deep Q-Learning for Context Encoding in Medical Image Analysis [48.02011627390706]
  我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。 予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T19:05:06Z)
• Multi-Domain Adversarial Feature Generalization for Person Re-Identification [52.835955258959785]
  マルチデータセット特徴一般化ネットワーク(MMFA-AAE)を提案する。 複数のラベル付きデータセットから普遍的なドメイン不変の特徴表現を学習し、それを見えないカメラシステムに一般化することができる。 また、最先端の教師付き手法や教師なしのドメイン適応手法を大きなマージンで超えている。
  論文  参考訳（メタデータ） (2020-11-25T08:03:15Z)
• Semi-supervised Learning with a Teacher-student Network for Generalized Attribute Prediction [7.462336024223667]
  本稿では,視覚特性予測問題を解くための半教師付き学習について述べる。 提案手法は,ファッション属性予測のための様々なベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2020-07-14T02:06:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。