論文の概要: Constrained Mean Shift Using Distant Yet Related Neighbors for Representation Learning

• arxiv url: http://arxiv.org/abs/2112.04607v1
• Date: Wed, 8 Dec 2021 22:23:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 23:17:02.217377
• Title: Constrained Mean Shift Using Distant Yet Related Neighbors for Representation Learning
• Title（参考訳）: 表現学習のための遠近関係近傍を用いた制約付き平均シフト
• Authors: Ajinkya Tejankar, Soroush Abbasi Koohpayegani, KL Navaneet, Kossar Pourahmadi, Akshayvarun Subramanya, Hamed Pirsiavash
• Abstract要約: 私たちは自己監督的、監督的、あるいは半監督的な環境での表現学習に興味を持っています。 自己教師付き学習に平均シフトのアイデアを適用する前の研究であるMSFは、クエリイメージを他の拡張に近づけるだけでなく、他の拡張の最も近い隣人(NN)にも近づけることで、BYOLのアイデアを一般化した。 我々は、制約が画像の異なる拡張を利用する場合、SSL設定でMSFより優れ、制約がNNがクエリと同じ擬似ラベルを持つことを保証した場合、トレーニングリソースの少ない半教師付き設定でPAWSより優れていることを示す。
• 参考スコア（独自算出の注目度）: 19.71039442904662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We are interested in representation learning in self-supervised, supervised, or semi-supervised settings. The prior work on applying mean-shift idea for self-supervised learning, MSF, generalizes the BYOL idea by pulling a query image to not only be closer to its other augmentation, but also to the nearest neighbors (NNs) of its other augmentation. We believe the learning can benefit from choosing far away neighbors that are still semantically related to the query. Hence, we propose to generalize MSF algorithm by constraining the search space for nearest neighbors. We show that our method outperforms MSF in SSL setting when the constraint utilizes a different augmentation of an image, and outperforms PAWS in semi-supervised setting with less training resources when the constraint ensures the NNs have the same pseudo-label as the query.
• Abstract（参考訳）: 私たちは自己監督的、監督的、あるいは半監督的な環境での表現学習に興味を持っています。 自己教師付き学習に平均シフトのアイデアを適用する前の研究であるMSFは、クエリイメージを他の拡張に近づけるだけでなく、他の拡張の最も近い隣人(NN)にも近づけることで、BYOLのアイデアを一般化した。 この学習は、クエリにセマンティックに関連のある、遠く離れた隣人を選択することで得られると信じています。 そこで本研究では,近辺の探索空間を制約することで,MSFアルゴリズムの一般化を提案する。 提案手法は,制約が画像の異なる拡張を利用する場合,SSL環境ではMSFよりも優れており,NNがクエリと同じ擬似ラベルを持つことを保証した場合,トレーニングリソースの少ない半教師付き環境ではPAWSよりも優れていることを示す。

関連論文リスト

• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
  我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。 提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-06-03T05:32:19Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Constrained Mean Shift for Representation Learning [17.652439157554877]
  我々は,新たな知識を活用できる非コントラスト表現学習法を開発した。 本研究の主な目的は,近傍の探索空間を制約することで平均シフトアルゴリズムを一般化することである。 本研究では,モダリティ間の雑音制約を利用して,自己教師付きビデオモデルのトレーニングを行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-19T23:14:23Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• CoDeGAN: Contrastive Disentanglement for Generative Adversarial Network [0.5437298646956507]
  解釈可能な機械学習において重要な関心事であるディスタングルメントもまた、コンピュータビジョンコミュニティから大きな注目を集めている。 我々はtextttCoDeGAN を提案し、画像領域から特徴領域への切り離しに関する類似性制約を緩和する。 我々はCoDeGANに自己教師付き事前学習を統合して意味表現を学習し、教師なしの絡み合いを著しく促進する。
  論文  参考訳（メタデータ） (2021-03-05T12:44:22Z)
• Deep Interactive Bayesian Reinforcement Learning via Meta-Learning [63.96201773395921]
  他のエージェントの戦略に対する不確実性下での最適適応行動は、インタラクティブベイズ強化学習フレームワークを用いて計算することができる。 本稿では,メタラーン近似的信念推論とベイズ最適行動を提案する。 提案手法は, モデルフリーアプローチ, 近似後部からのサンプル採取, 他者のメモリフリーモデル維持, あるいは環境の既知の構造を完全に活用しない既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-11T13:25:13Z)
• Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
  本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。 MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。 我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-05-09T10:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。