論文の概要: TriBYOL: Triplet BYOL for Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2206.03012v1
• Date: Tue, 7 Jun 2022 05:03:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 13:51:39.017719
• Title: TriBYOL: Triplet BYOL for Self-Supervised Representation Learning
• Title（参考訳）: TriBYOL: 自己監督型表現学習のためのTriplet BYOL
• Authors: Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama
• Abstract要約: 本稿では,3重ビューの損失と組み合わさって,小規模バッチサイズで自己教師型表現学習の性能向上を図る。 提案手法は,小規模バッチサイズを用いた実世界の高解像度画像を用いた自己教師あり学習を実現する。
• 参考スコア（独自算出の注目度）: 38.65823547986758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel self-supervised learning method for learning better representations with small batch sizes. Many self-supervised learning methods based on certain forms of the siamese network have emerged and received significant attention. However, these methods need to use large batch sizes to learn good representations and require heavy computational resources. We present a new triplet network combined with a triple-view loss to improve the performance of self-supervised representation learning with small batch sizes. Experimental results show that our method can drastically outperform state-of-the-art self-supervised learning methods on several datasets in small-batch cases. Our method provides a feasible solution for self-supervised learning with real-world high-resolution images that uses small batch sizes.
• Abstract（参考訳）: 本稿では,バッチサイズの小さい表現を学習するための新しい自己教師あり学習法を提案する。 サイムズネットワークの特定の形態に基づく自己指導型学習法が数多く出現し,注目されている。 しかし、これらの方法は優れた表現を学習するために大きなバッチサイズを使用し、重い計算リソースを必要とする。 本稿では,3重ビューの損失と組み合わせて,小規模バッチサイズで自己教師付き表現学習の性能向上を図る。 実験結果から,本手法は小バッチの場合のいくつかのデータセットにおいて,最先端の自己教師型学習法を大幅に上回ることを示す。 提案手法は,小規模バッチサイズを用いた実世界の高解像度画像を用いた自己教師あり学習を実現する。

関連論文リスト

• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• One-shot and Partially-Supervised Cell Image Segmentation Using Small Visual Prompt [9.873635079670091]
  可能な限り少ないデータで効率的な学習フレームワークを考えます。 本稿では,1つのトレーニングサンプルだけで学習できるワンショットセグメンテーションと,画像の一部にアノテーションを割り当てる部分教師付きセグメンテーションという2つのタイプの学習戦略を提案する。 提案手法では,セル画像のみに基づく事前学習モデルを用いて,プロンプトペアの情報を対象画像に教える。
  論文  参考訳（メタデータ） (2023-04-17T05:04:41Z)
• Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay [10.715255809531268]
  本稿では,自己教師型学習には適用されていない画像のオーバーレイ化という,新たな画像強調手法を提案する。 提案手法は,ダウンストリームタスクにおいて確固とした性能を示す自己教師付き学習手法であるコントラスト学習を用いて評価する。
  論文  参考訳（メタデータ） (2023-01-23T07:00:04Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Contrastive Learning from Demonstrations [0.0]
  これらの表現は、ピック・アンド・プレイスを含むいくつかのロボット作業の模倣に適用可能であることを示す。 我々は、タスク関連情報を強化するためにコントラスト学習を適用することで、最近提案された自己教師付き学習アルゴリズムを最適化する。
  論文  参考訳（メタデータ） (2022-01-30T13:36:07Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Multi-Pretext Attention Network for Few-shot Learning with Self-supervision [37.6064643502453]
  補助的なサンプルに依存しない自己教師付き学習のための,新しい拡張不要な手法を提案する。 さらに,従来の拡張信頼手法とGCを組み合わせるために,特定の注意機構を利用するマルチテキスト注意ネットワーク(MAN)を提案する。 miniImageNetおよびtieredImageNetデータセット上でMANを幅広く評価し、提案手法が最新(SOTA)関連手法より優れていることを実証した。
  論文  参考訳（メタデータ） (2021-03-10T10:48:37Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)
• Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
  少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。 数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。 実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-17T11:27:00Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。