論文の概要: pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based
Unsupervised Representation Learning Problems
- arxiv url: http://arxiv.org/abs/2308.06983v1
- Date: Mon, 14 Aug 2023 07:35:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 14:06:47.256999
- Title: pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based
Unsupervised Representation Learning Problems
- Title(参考訳): pNNCLR: コントラスト学習に基づく教師なし表現学習問題のための確率的擬似近傍
- Authors: Momojit Biswas, Himanshu Buckchash, Dilip K. Prasad
- Abstract要約: Nearest neighbor(NN)サンプリングは、自己教師付き学習(SSL)に基づく画像認識問題に対する事前定義された変換よりも意味的なバリエーションを提供する。
SSL に近接する任意の方法において,サポートセットの品質が重要な役割を担っていることを示す。
疑似近接隣人(pNN)を導入し,サポートセットの品質を制御し,サンプリング戦略を用いて性能を向上させる。
- 参考スコア(独自算出の注目度): 7.967118716309239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nearest neighbor (NN) sampling provides more semantic variations than
pre-defined transformations for self-supervised learning (SSL) based image
recognition problems. However, its performance is restricted by the quality of
the support set, which holds positive samples for the contrastive loss. In this
work, we show that the quality of the support set plays a crucial role in any
nearest neighbor based method for SSL. We then provide a refined baseline
(pNNCLR) to the nearest neighbor based SSL approach (NNCLR). To this end, we
introduce pseudo nearest neighbors (pNN) to control the quality of the support
set, wherein, rather than sampling the nearest neighbors, we sample in the
vicinity of hard nearest neighbors by varying the magnitude of the resultant
vector and employing a stochastic sampling strategy to improve the performance.
Additionally, to stabilize the effects of uncertainty in NN-based learning, we
employ a smooth-weight-update approach for training the proposed network.
Evaluation of the proposed method on multiple public image recognition and
medical image recognition datasets shows that it performs up to 8 percent
better than the baseline nearest neighbor method, and is comparable to other
previously proposed SSL methods.
- Abstract(参考訳): Nearest neighbor(NN)サンプリングは、自己教師付き学習(SSL)に基づく画像認識問題に対する事前定義された変換よりも意味的なバリエーションを提供する。
しかし、その性能は、対照的な損失の正のサンプルを保持するサポートセットの品質によって制限される。
本研究では,SSL に最も近い手法において,サポートセットの品質が重要な役割を担っていることを示す。
次に、近隣のSSLアプローチ(NNCLR)に洗練されたベースライン(pNNCLR)を提供する。
この目的のために, 疑似近接隣人 (pNN) を導入してサポートセットの品質を制御し, 近接隣人をサンプリングする代わりに, 得られたベクトルの大きさを変化させ, 確率的サンプリング戦略を用いて, 近接隣人の近辺をサンプリングし, 性能を向上させる。
さらに,NN学習における不確実性の影響を安定化するために,提案したネットワークのトレーニングにスムーズな重み付けアプローチを採用する。
複数のパブリック画像認識および医用画像認識データセットにおける提案手法の評価は、ベースライン近傍法よりも最大8%高い性能を示し、従来提案されていたSSL法に匹敵する性能を示した。
関連論文リスト
- MNN: Mixed Nearest-Neighbors for Self-Supervised Learning [10.327408694770709]
自己監督型学習(MNN)のための近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近
我々は、MNN(Mixed Nearest-Neighbors for Self-Supervised Learning)と呼ばれる単純な自己教師型学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-01T14:59:41Z) - Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳(メタデータ) (2023-10-10T14:06:56Z) - Spatial Autoregressive Coding for Graph Neural Recommendation [38.66151035948021]
浅いモデルとディープグラフニューラルネットワーク(GNN)は、サンプリングされたサブグラフやシーケンスの近傍を適切に利用できない。
本稿では、上記の問題を統一的に解くための新しいフレームワークである空間自己回帰符号化(SAC)を提案する。
パブリックレコメンデーションデータセットと実シナリオWebスケールデータセットの両方の実験結果は、最先端の手法と比較してSACの優位性を示している。
論文 参考訳(メタデータ) (2022-05-19T12:00:01Z) - Alternating Learning Approach for Variational Networks and Undersampling
Pattern in Parallel MRI Applications [0.9558392439655014]
高速並列磁気共鳴画像(MRI)におけるサンプリングパターン(SP)と変動ネットワーク(VN)パラメータの交互学習手法を提案する。
提案手法は安定であり,他の手法よりも高品質な画像を生成するVNパラメータを用いた有効SPを学習した。
論文 参考訳(メタデータ) (2021-10-27T18:42:03Z) - Improved, Deterministic Smoothing for L1 Certified Robustness [119.86676998327864]
分割雑音を伴う非加法的決定論的平滑化法(dssn)を提案する。
一様加法平滑化とは対照的に、ssn認証は無作為なノイズコンポーネントを独立に必要としない。
これは、規範ベースの敵対的脅威モデルに対して決定論的「ランダム化平滑化」を提供する最初の仕事である。
論文 参考訳(メタデータ) (2021-03-17T21:49:53Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳(メタデータ) (2020-11-17T12:52:18Z) - Discriminative Nearest Neighbor Few-Shot Intent Detection by
Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。
深部自己注意を伴う識別的近傍分類を提示する。
自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文 参考訳(メタデータ) (2020-10-25T00:39:32Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳(メタデータ) (2020-09-28T15:22:24Z) - The Simulator: Understanding Adaptive Sampling in the
Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。
適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。
我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文 参考訳(メタデータ) (2017-02-16T23:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。