Fugu-MT 論文翻訳(概要): Enhancing Representations through Heterogeneous Self-Supervised Learning

論文の概要: Enhancing Representations through Heterogeneous Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2310.05108v3
Date: Tue, 23 Apr 2024 05:06:10 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 19:55:12.582119
Title: Enhancing Representations through Heterogeneous Self-Supervised Learning
Title（参考訳）: 不均一な自己監視学習による表現の強化
Authors: Zhong-Yu Li, Bo-Wen Yin, Yongxiang Liu, Li Liu, Ming-Ming Cheng,
Abstract要約: 本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
参考スコア（独自算出の注目度）: 61.40674648939691
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Incorporating heterogeneous representations from different architectures has facilitated various vision tasks, e.g., some hybrid networks combine transformers and convolutions. However, complementarity between such heterogeneous architectures has not been well exploited in self-supervised learning. Thus, we propose Heterogeneous Self-Supervised Learning (HSSL), which enforces a base model to learn from an auxiliary head whose architecture is heterogeneous from the base model. In this process, HSSL endows the base model with new characteristics in a representation learning way without structural changes. To comprehensively understand the HSSL, we conduct experiments on various heterogeneous pairs containing a base model and an auxiliary head. We discover that the representation quality of the base model moves up as their architecture discrepancy grows. This observation motivates us to propose a search strategy that quickly determines the most suitable auxiliary head for a specific base model to learn and several simple but effective methods to enlarge the model discrepancy. The HSSL is compatible with various self-supervised methods, achieving superior performances on various downstream tasks, including image classification, semantic segmentation, instance segmentation, and object detection. Our source code will be made publicly available.
Abstract（参考訳）: 異なるアーキテクチャから異種表現を組み込むことは、様々なビジョンタスク、例えば、トランスフォーマーと畳み込みを組み合わせたハイブリッドネットワークを促進する。しかし、このような異種アーキテクチャ間の相補性は、自己教師付き学習では十分に活用されていない。そこで本研究では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。このプロセスでは、HSSLは構造的変化を伴わずに表現学習方式でベースモデルに新しい特徴を付与する。 HSSLを包括的に理解するために,ベースモデルと補助ヘッドを含む多種多様な異種対の実験を行った。アーキテクチャの相違が大きくなるにつれて,ベースモデルの表現品質が向上することがわかった。本研究の動機は,特定のベースモデルの学習に最も適した補助頭部を迅速に決定する探索戦略と,モデルの差分を増大させる単純かつ効果的な方法を提案することである。 HSSLは、画像分類、セマンティックセグメンテーション、インスタンスのセグメンテーション、オブジェクト検出など、さまざまなダウンストリームタスクにおいて優れたパフォーマンスを達成する。私たちのソースコードは公開されます。

関連論文リスト

Aligning in a Compact Space: Contrastive Knowledge Distillation between Heterogeneous Architectures [4.119589507611071]
本稿では,低周波成分を用いたコントラスト知識蒸留(Contrastive Knowledge Distillation, LFCC)フレームワークを提案する。具体的には、教師モデルと学生モデルの両方から中間特徴の低周波成分を抽出するために、マルチスケールの低域通過フィルタを設計する。本稿では,ImageNet-1K と CIFAR-100 のベンチマークにおいて,LFCC が優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2024-05-28T18:44:42Z)
A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
論文参考訳（メタデータ） (2023-01-28T13:13:53Z)
Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification [61.411869453639845]
クラス間およびクラス内変動を同時に対応できるバイコンストラクション機構を導入する。この設計は、モデルがより微妙で差別的な特徴を探索するのに役立つ。広範に使用されている3つのきめ細かな画像分類データセットに対する実験結果は、一貫して大幅に改善されている。
論文参考訳（メタデータ） (2022-11-30T16:55:14Z)
The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
論文参考訳（メタデータ） (2022-09-18T18:15:38Z)
Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2022-03-16T16:14:19Z)
Dual Path Structural Contrastive Embeddings for Learning Novel Objects [6.979491536753043]
近年の研究では、優れた特徴空間の情報を取得することが、少数のタスクにおいて良好なパフォーマンスを達成するための効果的な解決法であることが示されている。特徴表現と分類器を学習するタスクを分離する,単純だが効果的なパラダイムを提案する。提案手法は, インダクティブ推論とトランスダクティブ推論のいずれにおいても, 標準および一般化された少数ショット問題に対して有望な結果が得られる。
論文参考訳（メタデータ） (2021-12-23T04:43:31Z)
MOGAN: Morphologic-structure-aware Generative Learning from a Single Image [59.59698650663925]
近年,1つの画像のみに基づく生成モデルによる完全学習が提案されている。多様な外観のランダムなサンプルを生成するMOGANというMOrphologic-structure-aware Generative Adversarial Networkを紹介します。合理的な構造の維持や外観の変化など、内部機能に重点を置いています。
論文参考訳（メタデータ） (2021-03-04T12:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。