論文の概要: Ladder Siamese Network: a Method and Insights for Multi-level Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2211.13844v1
• Date: Fri, 25 Nov 2022 00:49:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:24:35.902836
• Title: Ladder Siamese Network: a Method and Insights for Multi-level Self-Supervised Learning
• Title（参考訳）: Ladder Siamese Network:マルチレベル自己監督学習のための方法と指針
• Authors: Ryota Yoshihashi, Shuhei Nishimura, Dai Yonebayashi, Yuya Otsuka, Tomohiro Tanaka, Takashi Miyazaki
• Abstract要約: Siamese-network-based self-supervised learning (SSL) は、トレーニングにおける収束の遅さと不安定さに悩まされている。 本稿では,Ladder Siamese Network と呼ばれるディープネットの各段階における中間的な自己スーパービジョンを利用するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.257121691188008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Siamese-network-based self-supervised learning (SSL) suffers from slow convergence and instability in training. To alleviate this, we propose a framework to exploit intermediate self-supervisions in each stage of deep nets, called the Ladder Siamese Network. Our self-supervised losses encourage the intermediate layers to be consistent with different data augmentations to single samples, which facilitates training progress and enhances the discriminative ability of the intermediate layers themselves. While some existing work has already utilized multi-level self supervisions in SSL, ours is different in that 1) we reveal its usefulness with non-contrastive Siamese frameworks in both theoretical and empirical viewpoints, and 2) ours improves image-level classification, instance-level detection, and pixel-level segmentation simultaneously. Experiments show that the proposed framework can improve BYOL baselines by 1.0% points in ImageNet linear classification, 1.2% points in COCO detection, and 3.1% points in PASCAL VOC segmentation. In comparison with the state-of-the-art methods, our Ladder-based model achieves competitive and balanced performances in all tested benchmarks without causing large degradation in one.
• Abstract（参考訳）: siamese-network-based self-supervised learning (ssl)は、トレーニングの収束と不安定に苦しむ。 これを軽減するために,我々はLadder Siamese Networkと呼ばれるディープネットの各段階における中間的な自己スーパービジョンを利用するフレームワークを提案する。 自己教師付き損失は中間層を単一のサンプルに対する異なるデータ拡張と整合させることを奨励し、トレーニングの進行を促進し、中間層自体の識別能力を高める。 既存の作業ではSSLですでにマルチレベルな自己監視を活用していますが、その点では私たちの意見は違います。 1) 理論的, 実証的両面において, 非コントラスト的なシームズフレームワークの有用性を明らかにする。 2)画像レベルの分類,インスタンスレベル検出,ピクセルレベルのセグメンテーションを同時に改善する。 実験により,提案手法は,imagenet線形分類で1.0%,coco検出で1.2%,pascal vocセグメンテーションで3.1%,byolベースラインを1.0%改善できることがわかった。 最先端の手法と比較して,ラダーベースモデルは,すべてのテストベンチマークにおいて,大きな劣化を生じさせることなく,競争力とバランスの取れたパフォーマンスを実現する。

関連論文リスト

• Weakly Supervised Co-training with Swapping Assignments for Semantic Segmentation [21.345548821276097]
  クラスアクティベーションマップ(CAM)は通常、擬似ラベルを生成するために弱教師付きセマンティックセマンティックセグメンテーション(WSSS)で使用される。 我々は、ガイド付きCAMを組み込んだエンドツーエンドWSSSモデルを提案し、CAMをオンラインで同時最適化しながらセグメンテーションモデルを訓練する。 CoSAは、追加の監督を持つものを含む、既存のマルチステージメソッドをすべて上回る、最初のシングルステージアプローチである。
  論文  参考訳（メタデータ） (2024-02-27T21:08:23Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Few-Shot Classification with Contrastive Learning [10.236150550121163]
  両段階に比較学習をシームレスに統合する,新しいコントラスト学習ベースのフレームワークを提案する。 メタトレーニングの段階において,同エピソードの2つの異なる視点から最寄りのセントロイド分類を行うための,クロスビュー・エピソード・トレーニング機構を提案する。 これらの2つの戦略は、ビュー間のバイアスを克服し、表現の転送可能性を促進するようモデルに強制する。
  論文  参考訳（メタデータ） (2022-09-17T02:39:09Z)
• Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and Semi-Supervised Semantic Segmentation [119.009033745244]
  本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。 SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。 Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
  論文  参考訳（メタデータ） (2022-03-19T09:19:55Z)
• CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning [98.89092930354273]
  本稿では,非バランスなSSLのための非結合表現学習と分類器学習を用いた新しいコラーニングフレームワーク(CoSSL)を提案する。 データ不均衡に対処するため、分類器学習のためのTFE(Tail-class Feature Enhancement)を考案した。 実験により,本手法は様々な分散分布において,他の手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-12-08T20:13:13Z)
• Self-Distilled Self-Supervised Representation Learning [35.60243157730165]
  自己教師付き学習における最先端のフレームワークは、トランスフォーマーベースのモデルを完全に活用することでパフォーマンスが向上することを示した。 本研究では, コントラッシブ・ロスにより, 中間表現が最終層から学習できるようにすることにより, さらにこれを活用する。 我々の手法であるSDSSL(Self-Distilled Self-Supervised Learning)は,様々なタスクやデータセット上でのViTを用いた競争ベースライン(SimCLR, BYOL, MoCo v3)より優れています。
  論文  参考訳（メタデータ） (2021-11-25T07:52:36Z)
• Weakly Supervised Person Search with Region Siamese Networks [65.76237418040071]
  教師付き学習は人検索において支配的であるが、境界ボックスとアイデンティティの詳細なラベル付けが必要である。 私たちは、バウンディングボックスアノテーションのみが利用できる弱い教師付き設定を提示します。 我々のモデルはCUHK-SYSUベンチマークで87.1%のランク1と86.0%のmAPを達成している。
  論文  参考訳（メタデータ） (2021-09-13T16:33:27Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
  入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。 ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
  論文  参考訳（メタデータ） (2020-11-18T08:42:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。