Fugu-MT 論文翻訳(概要): Enhancing Representations through Heterogeneous Self-Supervised Learning

論文の概要: Enhancing Representations through Heterogeneous Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2310.05108v3
Date: Tue, 23 Apr 2024 05:06:10 GMT
ステータス: 翻訳完了
システム内更新日: 2024-04-24 19:55:12.582119
Title: Enhancing Representations through Heterogeneous Self-Supervised Learning
Title（参考訳）: 不均一な自己監視学習による表現の強化
Authors: Zhong-Yu Li, Bo-Wen Yin, Yongxiang Liu, Li Liu, Ming-Ming Cheng,
Abstract要約: 本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
参考スコア（独自算出の注目度）: 61.40674648939691
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Incorporating heterogeneous representations from different architectures has facilitated various vision tasks, e.g., some hybrid networks combine transformers and convolutions. However, complementarity between such heterogeneous architectures has not been well exploited in self-supervised learning. Thus, we propose Heterogeneous Self-Supervised Learning (HSSL), which enforces a base model to learn from an auxiliary head whose architecture is heterogeneous from the base model. In this process, HSSL endows the base model with new characteristics in a representation learning way without structural changes. To comprehensively understand the HSSL, we conduct experiments on various heterogeneous pairs containing a base model and an auxiliary head. We discover that the representation quality of the base model moves up as their architecture discrepancy grows. This observation motivates us to propose a search strategy that quickly determines the most suitable auxiliary head for a specific base model to learn and several simple but effective methods to enlarge the model discrepancy. The HSSL is compatible with various self-supervised methods, achieving superior performances on various downstream tasks, including image classification, semantic segmentation, instance segmentation, and object detection. Our source code will be made publicly available.
Abstract（参考訳）: 異なるアーキテクチャから異種表現を組み込むことは、様々なビジョンタスク、例えば、トランスフォーマーと畳み込みを組み合わせたハイブリッドネットワークを促進する。しかし、このような異種アーキテクチャ間の相補性は、自己教師付き学習では十分に活用されていない。そこで本研究では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。このプロセスでは、HSSLは構造的変化を伴わずに表現学習方式でベースモデルに新しい特徴を付与する。 HSSLを包括的に理解するために,ベースモデルと補助ヘッドを含む多種多様な異種対の実験を行った。アーキテクチャの相違が大きくなるにつれて,ベースモデルの表現品質が向上することがわかった。本研究の動機は,特定のベースモデルの学習に最も適した補助頭部を迅速に決定する探索戦略と,モデルの差分を増大させる単純かつ効果的な方法を提案することである。 HSSLは、画像分類、セマンティックセグメンテーション、インスタンスのセグメンテーション、オブジェクト検出など、さまざまなダウンストリームタスクにおいて優れたパフォーマンスを達成する。私たちのソースコードは公開されます。

関連論文リスト

Learning Without Augmenting: Unsupervised Time Series Representation Learning via Frame Projections [35.715609556178165]
ラベル付きデータなしで表現を学習するための強力なパラダイムとして、自己教師型学習が登場した。ほとんどのSSLアプローチは、表現学習のための多様なビューを生成するために、強力で確立された手作りのデータ拡張に依存している。正規のベースとオーバーコンプリートフレームを用いてビューを生成することにより、拡張を置き換える教師なし表現学習手法を提案する。
論文参考訳（メタデータ） (2025-10-26T12:36:29Z)
Alignment Unlocks Complementarity: A Framework for Multiview Circuit Representation Learning [12.528410977116438]
ブール回路上のマルチビュー学習は、グラフベースの異なる表現が相補的な構造的および意味的な情報を提供するので、大きな可能性を秘めている。 MixGateは、モデルに共有された関数対応表現空間を教える、原則付きトレーニングカリキュラム上に構築されたフレームワークである。我々のアライメントファースト戦略は、マスク付きモデリングを非効率な手法から強力なパフォーマンスドライバに変換することを示す。
論文参考訳（メタデータ） (2025-09-25T10:12:04Z)
Through the Looking Glass: A Dual Perspective on Weakly-Supervised Few-Shot Segmentation [46.635612270422655]
メタラーニングは、同じカテゴリと類似属性を特徴とする均一なサポートクエリペアを均一にサンプリングすることを目的としている。この同一のネットワーク設計は、過剰なセマンティックな均質化をもたらす。本稿では,相補性を向上し,意味的共通性を維持するための,新しい異種ネットワークを提案する。弱教師付き少ショットセマンティックセグメンテーション(WFSS)タスクでは、TLGはPascal-5textsuperscriptiで13.2%、COCO-20textsuperscriptiで9.7%改善している。
論文参考訳（メタデータ） (2025-08-22T07:29:30Z)
Aligning in a Compact Space: Contrastive Knowledge Distillation between Heterogeneous Architectures [4.119589507611071]
本稿では,低周波成分を用いたコントラスト知識蒸留(Contrastive Knowledge Distillation, LFCC)フレームワークを提案する。具体的には、教師モデルと学生モデルの両方から中間特徴の低周波成分を抽出するために、マルチスケールの低域通過フィルタを設計する。本稿では,ImageNet-1K と CIFAR-100 のベンチマークにおいて,LFCC が優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2024-05-28T18:44:42Z)
A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文参考訳（メタデータ） (2023-10-30T11:13:02Z)
Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
論文参考訳（メタデータ） (2023-01-28T13:13:53Z)
Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification [61.411869453639845]
クラス間およびクラス内変動を同時に対応できるバイコンストラクション機構を導入する。この設計は、モデルがより微妙で差別的な特徴を探索するのに役立つ。広範に使用されている3つのきめ細かな画像分類データセットに対する実験結果は、一貫して大幅に改善されている。
論文参考訳（メタデータ） (2022-11-30T16:55:14Z)
The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
論文参考訳（メタデータ） (2022-09-18T18:15:38Z)
Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2022-03-16T16:14:19Z)
Dual Path Structural Contrastive Embeddings for Learning Novel Objects [6.979491536753043]
近年の研究では、優れた特徴空間の情報を取得することが、少数のタスクにおいて良好なパフォーマンスを達成するための効果的な解決法であることが示されている。特徴表現と分類器を学習するタスクを分離する,単純だが効果的なパラダイムを提案する。提案手法は, インダクティブ推論とトランスダクティブ推論のいずれにおいても, 標準および一般化された少数ショット問題に対して有望な結果が得られる。
論文参考訳（メタデータ） (2021-12-23T04:43:31Z)
MOGAN: Morphologic-structure-aware Generative Learning from a Single Image [59.59698650663925]
近年,1つの画像のみに基づく生成モデルによる完全学習が提案されている。多様な外観のランダムなサンプルを生成するMOGANというMOrphologic-structure-aware Generative Adversarial Networkを紹介します。合理的な構造の維持や外観の変化など、内部機能に重点を置いています。
論文参考訳（メタデータ） (2021-03-04T12:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。