論文の概要: Self-Supervised Representation Learning With MUlti-Segmental
Informational Coding (MUSIC)
- arxiv url: http://arxiv.org/abs/2206.06461v1
- Date: Mon, 13 Jun 2022 20:37:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 13:24:57.115214
- Title: Self-Supervised Representation Learning With MUlti-Segmental
Informational Coding (MUSIC)
- Title（参考訳）: ミューティセグメント情報符号化(MUSIC)を用いた自己教師付き表現学習
- Authors: Chuang Niu and Ge Wang
- Abstract要約: 自己教師付き表現学習は、高次元データを意味のある埋め込み空間にマッピングする。
自己教師型表現学習のためのMUSIC(MUlti-Segmental Informational Coding)を提案する。
- 参考スコア（独自算出の注目度）: 6.693379403133435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised representation learning maps high-dimensional data into a
meaningful embedding space, where samples of similar semantic contents are
close to each other. Most of the recent representation learning methods
maximize cosine similarity or minimize the distance between the embedding
features of different views from the same sample usually on the $l2$ normalized
unit hypersphere. To prevent the trivial solutions that all samples have the
same embedding feature, various techniques have been developed, such as
contrastive learning, stop gradient, variance and covariance regularization,
etc. In this study, we propose MUlti-Segmental Informational Coding (MUSIC) for
self-supervised representation learning. MUSIC divides the embedding feature
into multiple segments that discriminatively partition samples into different
semantic clusters and different segments focus on different partition
principles. Information theory measurements are directly used to optimize MUSIC
and theoretically guarantee trivial solutions are avoided. MUSIC does not
depend on commonly used techniques, such as memory bank or large batches,
asymmetry networks, gradient stopping, momentum weight updating, etc, making
the training framework flexible. Our experiments demonstrate that MUSIC
achieves better results than most related Barlow Twins and VICReg methods on
ImageNet classification with linear probing, and requires neither deep
projectors nor large feature dimensions. Code will be made available.
- Abstract（参考訳）: 自己教師あり表現学習(self-supervised representation learning)は、高次元データを意味のある埋め込み空間にマッピングする。
最近の表現学習法のほとんどは、通常$l2$の正規化された単位超球面上の同じサンプルから異なるビューの埋め込み特徴の間の距離を最大化する。
すべてのサンプルが同じ埋め込み特徴を持つ自明な解を避けるため, コントラスト学習, 停止勾配, 分散, 共分散正規化など, 様々な手法が開発されている。
本研究では,自己指導型表現学習のためのMulti-Segmental Informational Coding (MUSIC)を提案する。
musicは埋め込み機能を複数のセグメントに分割し、サンプルを異なるセマンティッククラスタに識別的に分割する。
情報理論の測定は音楽の最適化に直接用いられ、理論的には自明な解は避けられる。
MUSICは、メモリバンクや大規模なバッチ、非対称性ネットワーク、勾配停止、運動量更新など、一般的な技術に依存していないため、トレーニングフレームワークは柔軟である。
実験の結果,MUSIC は画像ネット分類における多くのBarlow Twins 法や VICReg 法よりも精度が良く,深いプロジェクタも大きな特徴次元も必要としないことがわかった。
コードは利用可能になる。
関連論文リスト
- Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。
我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
論文 参考訳（メタデータ） (2023-10-22T04:06:44Z) - MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - Multi-scale and Cross-scale Contrastive Learning for Semantic
Segmentation [5.281694565226513]
セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。
まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
論文 参考訳（メタデータ） (2022-03-25T01:24:24Z) - Improving Deep Metric Learning by Divide and Conquer [11.380358587116683]
ディープ・メトリック・ラーニング(DML)は多くのコンピュータ・ビジョン・アプリケーションの基盤となっている。
入力ドメインから埋め込み空間へのマッピングを学習することを目的としている。
埋め込み空間とデータを階層的に小さな部分に分割することで、より表現力のある表現を構築することを提案する。
論文 参考訳（メタデータ） (2021-09-09T02:57:34Z) - Generalized One-Class Learning Using Pairs of Complementary Classifiers [41.64645294104883]
1クラス学習は、単一のクラスでのみアノテーションが利用できるデータにモデルを適合させる古典的な問題である。
本稿では,一級学習の新たな目的を探求し,これを一般化一級識別サブスペース(GODS)と呼ぶ。
論文 参考訳（メタデータ） (2021-06-24T18:52:05Z) - Remote Sensing Images Semantic Segmentation with General Remote Sensing
Vision Model via a Self-Supervised Contrastive Learning Method [13.479068312825781]
リモートセマンティックセグメンテーションのためのGlobal style and Local matching Contrastive Learning Network (GLCNet)を提案する。
具体的には、画像レベルの表現をより良く学習するために、グローバルスタイルのコントラストモジュールが使用される。
コントラストモジュールにマッチするローカル特徴は、セマンティックセグメンテーションに有用なローカル領域の表現を学習するために設計されている。
論文 参考訳（メタデータ） (2021-06-20T03:03:40Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳（メタデータ） (2021-06-10T17:59:13Z) - Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。
より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。
5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
論文 参考訳（メタデータ） (2020-07-17T15:41:37Z) - DiVA: Diverse Visual Feature Aggregation for Deep Metric Learning [83.48587570246231]
視覚的類似性は多くのコンピュータビジョンアプリケーションにおいて重要な役割を果たす。
ディープ・メトリック・ラーニング(DML)は、そのような類似性を学ぶための強力なフレームワークである。
我々は,概念的に異なるデータ関係を対象とする複数の補完学習タスクを提案し,研究する。
我々は、訓練信号を集約する単一モデルを学び、その結果、強力な一般化と最先端のパフォーマンスが得られる。
論文 参考訳（メタデータ） (2020-04-28T12:26:50Z) - Improving Few-shot Learning by Spatially-aware Matching and
CrossTransformer [116.46533207849619]
数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。
本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
論文 参考訳（メタデータ） (2020-01-06T14:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。