Fugu-MT 論文翻訳(概要): Feature Extraction Framework based on Contrastive Learning with Adaptive Positive and Negative Samples

論文の概要: Feature Extraction Framework based on Contrastive Learning with Adaptive Positive and Negative Samples

arxiv url: http://arxiv.org/abs/2201.03942v1
Date: Tue, 11 Jan 2022 13:34:03 GMT
ステータス: 処理完了
システム内更新日: 2022-01-12 17:05:33.004015
Title: Feature Extraction Framework based on Contrastive Learning with Adaptive Positive and Negative Samples
Title（参考訳）: 適応正と負のサンプルを用いたコントラスト学習に基づく特徴抽出フレームワーク
Authors: Hongjie Zhang
Abstract要約: フレームワークは、教師なし、教師なし、および半教師なしの単一ビュー特徴抽出に適している。 CL-FEFAは、特徴抽出の結果から正および負のサンプルを適応的に構成する。 CL-FEFAは、ポテンシャル構造の類似したサンプルである正のサンプル間の相互情報を考慮し、特徴抽出の利点を理論的に支持する。
参考スコア（独自算出の注目度）: 1.4467794332678539
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this study, we propose a feature extraction framework based on contrastive learning with adaptive positive and negative samples (CL-FEFA) that is suitable for unsupervised, supervised, and semi-supervised single-view feature extraction. CL-FEFA constructs adaptively the positive and negative samples from the results of feature extraction, which makes it more appropriate and accurate. Thereafter, the discriminative features are re extracted to according to InfoNCE loss based on previous positive and negative samples, which will make the intra-class samples more compact and the inter-class samples more dispersed. At the same time, using the potential structure information of subspace samples to dynamically construct positive and negative samples can make our framework more robust to noisy data. Furthermore, CL-FEFA considers the mutual information between positive samples, that is, similar samples in potential structures, which provides theoretical support for its advantages in feature extraction. The final numerical experiments prove that the proposed framework has a strong advantage over the traditional feature extraction methods and contrastive learning methods.
Abstract（参考訳）: 本研究では,教師なし・教師なし・半教師付き単一視点特徴抽出に適した適応正負サンプル(CL-FEFA)を用いたコントラスト学習に基づく特徴抽出フレームワークを提案する。 CL-FEFAは、特徴抽出の結果から正および負のサンプルを適応的に構成し、より適切かつ正確である。その後、前回の正および負のサンプルに基づいてInfoNCEの損失に基づいて識別特性を再抽出し、クラス内サンプルをよりコンパクト化し、クラス間サンプルをより分散させる。同時に、サブスペースサンプルの潜在的構造情報を用いて、正および負のサンプルを動的に構築することで、我々のフレームワークはノイズの多いデータに対してより堅牢になる。さらに、CL-FEFAは、潜在的な構造に類似したサンプルである正のサンプル間の相互情報を考慮し、特徴抽出の利点を理論的に支持する。最終数値実験により,提案手法は従来の特徴抽出法やコントラスト学習法よりも大きなアドバンテージを持つことが示された。

関連論文リスト

Bayesian Estimate of Mean Proper Scores for Diversity-Enhanced Active Learning [6.704927458661697]
期待されている損失削減(ELR)は、分類誤差の低減と、同じフレームワークに適合するより一般的なコストのベイズ推定に焦点を当てている。本研究では,平均値スコア(BEMPS)のベイズ推定を行い,厳密なスコアの増加を推定する。我々は,BEMPSが頑健な獲得関数とよく校正された分類器を出力し,他の試験よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-12-15T11:02:17Z)
Siamese Representation Learning for Unsupervised Relation Extraction [5.776369192706107]
非教師付き関係抽出(URE)は、オープンドメインのプレーンテキストから名前付きエンティティペア間の基礎となる関係を見つけることを目的としている。比較学習を利用した既存のUREモデルでは、正のサンプルを惹きつけ、より良い分離を促進するために負のサンプルを反発させる効果がある。非教師関係抽出のためのシームズ表現学習 - 正のペアを単純に活用して表現学習を行う新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-01T02:57:43Z)
Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文参考訳（メタデータ） (2023-09-14T00:40:07Z)
Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling [156.7248383178991]
コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
論文参考訳（メタデータ） (2022-06-23T08:50:22Z)
Self-Supervised Anomaly Detection by Self-Distillation and Negative Sampling [1.304892050913381]
また, 負の例と対照的に, 分散学習セットの自己蒸留はOOD検出を強く向上させることを示した。低レベルの特徴の統計を高レベルのセマンティクスを変更しながら保持する負のサンプルを活用することにより、より高い平均検出性能が得られることを観察する。
論文参考訳（メタデータ） (2022-01-17T12:33:14Z)
Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
論文参考訳（メタデータ） (2021-05-27T08:38:29Z)
Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文参考訳（メタデータ） (2021-05-08T17:25:08Z)
Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文参考訳（メタデータ） (2021-03-09T15:15:32Z)
Conditional Negative Sampling for Contrastive Learning of Visual Representations [19.136685699971864]
難解な負の選択、あるいは現在の例に類似した選択は、より強い表現をもたらす可能性があることを示す。それぞれの正の周りの「リング」に、負を条件付きでサンプリングする相互情報推定器のファミリーを導入する。これらの推定器は, 偏差が大きいが, NCEよりも分散度が低いことが証明された。
論文参考訳（メタデータ） (2020-10-05T14:17:32Z)
Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
論文参考訳（メタデータ） (2020-05-20T06:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。