論文の概要: Aggregative Self-Supervised Feature Learning from a Limited Sample

• arxiv url: http://arxiv.org/abs/2012.07477v3
• Date: Thu, 25 Mar 2021 01:27:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:30:39.152874
• Title: Aggregative Self-Supervised Feature Learning from a Limited Sample
• Title（参考訳）: 限定サンプルからの自己教師付き特徴学習
• Authors: Jiuwen Zhu, Yuexiang Li, S. Kevin Zhou
• Abstract要約: 自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。 限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
• 参考スコア（独自算出の注目度）: 12.555160911451688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) is an efficient approach that addresses the issue of limited training data and annotation shortage. The key part in SSL is its proxy task that defines the supervisory signals and drives the learning toward effective feature representations. However, most SSL approaches usually focus on a single proxy task, which greatly limits the expressive power of the learned features and therefore deteriorates the network generalization capacity. In this regard, we hereby propose two strategies of aggregation in terms of complementarity of various forms to boost the robustness of self-supervised learned features. We firstly propose a principled framework of multi-task aggregative self-supervised learning from a limited sample to form a unified representation, with an intent of exploiting feature complementarity among different tasks. Then, in self-aggregative SSL, we propose to self-complement an existing proxy task with an auxiliary loss function based on a linear centered kernel alignment metric, which explicitly promotes the exploring of where are uncovered by the features learned from a proxy task at hand to further boost the modeling capability. Our extensive experiments on 2D natural image and 3D medical image classification tasks under limited data and annotation scenarios confirm that the proposed aggregation strategies successfully boost the classification accuracy.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、限られたトレーニングデータとアノテーション不足の問題に対処する効率的なアプローチである。 sslの重要な部分は、監視信号を定義し、効果的な特徴表現に向けて学習を駆動するプロキシタスクである。 しかし、ほとんどのSSLアプローチは単一のプロキシタスクに重点を置いており、学習した機能の表現力を大幅に制限しているため、ネットワークの一般化能力は低下する。 そこで本研究では,様々な形態の相補性の観点から,自己教師付き学習特徴の頑健性を高める2つの集約戦略を提案する。 まず,複数タスク間の特徴相補性を活用することを目的とした,限定的なサンプルからの多タスク集約型自己教師型学習の原則的枠組みを提案する。 そして,自己集約型SSLにおいて,線形中心のカーネルアライメントメトリックに基づいて,既存のプロキシタスクを補助的損失関数で自己補完することを提案する。 2次元自然画像および3次元医用画像分類タスクを限定データおよびアノテーションシナリオで広範囲に実験した結果,提案手法が分類精度を向上できることが確認された。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Masked Momentum Contrastive Learning for Zero-shot Semantic Understanding [39.424931953675994]
  自己教師付き事前学習(SSP)は、ラベル付きデータなしで有意義な特徴表現を抽出できる機械学習の一般的な手法として登場した。 本研究は、コンピュータビジョンタスクにおける純粋な自己教師付き学習(SSL)技術の有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-22T13:55:57Z)
• Spatiotemporal Self-supervised Learning for Point Clouds in the Wild [65.56679416475943]
  空間領域と時間領域の両方で正のペアを利用するSSL戦略を導入する。 2つの大規模LiDARデータセット上で,自己教師型トレーニングによって実施した広範囲な実験を通じて,このアプローチのメリットを実証する。
  論文  参考訳（メタデータ） (2023-03-28T18:06:22Z)
• FUSSL: Fuzzy Uncertain Self Supervised Learning [8.31483061185317]
  自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。 本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。 SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
  論文  参考訳（メタデータ） (2022-10-28T01:06:10Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach [14.674494335647841]
  本稿では,タスク非依存およびタスク特化学習に介入するCLのための2段階学習パラダイムを提案する。 我々のトレーニングパラダイムは、メモリや正規化に基づくアプローチに簡単に追加できることを示します。
  論文  参考訳（メタデータ） (2022-07-13T15:16:51Z)
• UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
  単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。 大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。 また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
  論文  参考訳（メタデータ） (2022-03-14T10:04:04Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。