論文の概要: pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based Unsupervised Representation Learning Problems

• arxiv url: http://arxiv.org/abs/2308.06983v1
• Date: Mon, 14 Aug 2023 07:35:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 14:06:47.256999
• Title: pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based Unsupervised Representation Learning Problems
• Title（参考訳）: pNNCLR: コントラスト学習に基づく教師なし表現学習問題のための確率的擬似近傍
• Authors: Momojit Biswas, Himanshu Buckchash, Dilip K. Prasad
• Abstract要約: Nearest neighbor(NN)サンプリングは、自己教師付き学習(SSL)に基づく画像認識問題に対する事前定義された変換よりも意味的なバリエーションを提供する。 SSL に近接する任意の方法において,サポートセットの品質が重要な役割を担っていることを示す。 疑似近接隣人(pNN)を導入し,サポートセットの品質を制御し,サンプリング戦略を用いて性能を向上させる。
• 参考スコア（独自算出の注目度）: 7.967118716309239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nearest neighbor (NN) sampling provides more semantic variations than pre-defined transformations for self-supervised learning (SSL) based image recognition problems. However, its performance is restricted by the quality of the support set, which holds positive samples for the contrastive loss. In this work, we show that the quality of the support set plays a crucial role in any nearest neighbor based method for SSL. We then provide a refined baseline (pNNCLR) to the nearest neighbor based SSL approach (NNCLR). To this end, we introduce pseudo nearest neighbors (pNN) to control the quality of the support set, wherein, rather than sampling the nearest neighbors, we sample in the vicinity of hard nearest neighbors by varying the magnitude of the resultant vector and employing a stochastic sampling strategy to improve the performance. Additionally, to stabilize the effects of uncertainty in NN-based learning, we employ a smooth-weight-update approach for training the proposed network. Evaluation of the proposed method on multiple public image recognition and medical image recognition datasets shows that it performs up to 8 percent better than the baseline nearest neighbor method, and is comparable to other previously proposed SSL methods.
• Abstract（参考訳）: Nearest neighbor(NN)サンプリングは、自己教師付き学習(SSL)に基づく画像認識問題に対する事前定義された変換よりも意味的なバリエーションを提供する。 しかし、その性能は、対照的な損失の正のサンプルを保持するサポートセットの品質によって制限される。 本研究では,SSL に最も近い手法において,サポートセットの品質が重要な役割を担っていることを示す。 次に、近隣のSSLアプローチ(NNCLR)に洗練されたベースライン(pNNCLR)を提供する。 この目的のために, 疑似近接隣人 (pNN) を導入してサポートセットの品質を制御し, 近接隣人をサンプリングする代わりに, 得られたベクトルの大きさを変化させ, 確率的サンプリング戦略を用いて, 近接隣人の近辺をサンプリングし, 性能を向上させる。 さらに,NN学習における不確実性の影響を安定化するために,提案したネットワークのトレーニングにスムーズな重み付けアプローチを採用する。 複数のパブリック画像認識および医用画像認識データセットにおける提案手法の評価は、ベースライン近傍法よりも最大8%高い性能を示し、従来提案されていたSSL法に匹敵する性能を示した。

関連論文リスト

• Contrastive Learning with Synthetic Positives [11.932323457691945]
  近隣住民との対比学習は、最も効率的な自己教師付き学習(SSL)技術の1つであることが証明されている。 本稿では,NCLP(Contrastive Learning with Synthetic Positives)という新しいアプローチを提案する。 NCLPは、無条件拡散モデルによって生成された合成画像を利用して、モデルが多様な正から学ぶのに役立つ追加の正として利用する。
  論文  参考訳（メタデータ） (2024-08-30T01:47:43Z)
• Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
  我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。 提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。 提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
  論文  参考訳（メタデータ） (2024-08-23T15:02:09Z)
• Meta Clustering of Neural Bandits [45.77505279698894]
  ニューラルバンドのクラスタリング(Clustering of Neural Bandits)という新しい問題を,任意の報酬関数に拡張することで研究する。 本稿では,メタラーナーを用いて動的クラスタを高速に表現・適応する,M-CNBという新しいアルゴリズムを提案する。 M-CNBはレコメンデーションとオンラインの分類シナリオの両方で広範な実験を行い、SOTAベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-08-10T16:09:51Z)
• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• MNN: Mixed Nearest-Neighbors for Self-Supervised Learning [10.327408694770709]
  自己監督型学習(MNN)のための近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近 我々は、MNN(Mixed Nearest-Neighbors for Self-Supervised Learning)と呼ばれる単純な自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-01T14:59:41Z)
• Improved, Deterministic Smoothing for L1 Certified Robustness [119.86676998327864]
  分割雑音を伴う非加法的決定論的平滑化法(dssn)を提案する。 一様加法平滑化とは対照的に、ssn認証は無作為なノイズコンポーネントを独立に必要としない。 これは、規範ベースの敵対的脅威モデルに対して決定論的「ランダム化平滑化」を提供する最初の仕事である。
  論文  参考訳（メタデータ） (2021-03-17T21:49:53Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。