論文の概要: A Unified Framework for Feature Extraction based on Contrastive Learning

• arxiv url: http://arxiv.org/abs/2101.11703v1
• Date: Mon, 25 Jan 2021 16:43:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-15 02:30:19.145236
• Title: A Unified Framework for Feature Extraction based on Contrastive Learning
• Title（参考訳）: コントラスト学習に基づく特徴抽出のための統一フレームワーク
• Authors: Hongjie Zhang
• Abstract要約: コントラスト学習に基づく特徴抽出のための統合フレームワークを新たな視点から提案する。 このフレームワークでは,まず,グラフ埋め込み(GE)に基づく対照的な学習グラフを構築し,正と負のペアを定義する新しい方法を提案する。 類似したサンプルだけでなく、教師なしgeに基づく異種サンプルも検討できるので、教師なし特徴抽出によりギャップを狭めることができる。
• 参考スコア（独自算出の注目度）: 2.9697051524971743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature extraction is an efficient approach for alleviating the curse of dimensionality in high-dimensional data. With the development of contrastive learning in the field of self-supervised learning, we propose a unified framework for feature extraction based on contrastive learning from a new perspective, which is suitable for both unsupervised and supervised feature extraction. In this framework, we first construct a contrastive learning graph based on graph embedding (GE), which proposes a new way to define positive and negative pairs. Then, we solve the projection matrix by minimizing the contrastive loss function. In this framework, we can consider not only similar samples but also dissimilar samples on the basis of unsupervised GE, so as to narrow the gap with supervised feature extraction. In order to verify the effectiveness of our proposed framework for unsupervised and supervised feature extraction, we improved the unsupervised GE method LPP with local preserving, the supervised GE method LDA without local preserving, and the supervised GE method LFDA with local preserving, and proposed CL-LPP, CL-LDA, and CL-LFDA, respectively. Finally, we performed numerical experiments on five real datasets.
• Abstract（参考訳）: 特徴抽出は高次元データにおける次元性の呪いを軽減する効果的な手法である。 自己教師あり学習の分野におけるコントラスト学習の発展により,新しい視点からのコントラスト学習に基づく特徴抽出のための統一的な枠組みを提案し,教師なし特徴抽出と教師なし特徴抽出の両方に適合する。 このフレームワークでは,まず,グラフ埋め込み(GE)に基づく対照的な学習グラフを構築し,正と負のペアを定義する新しい方法を提案する。 そして、コントラスト損失関数を最小化することにより、投影行列を解く。 この枠組みでは、類似したサンプルだけでなく、非教師付きGEに基づく異種サンプルも検討でき、教師付き特徴抽出とのギャップを狭めることができる。 提案手法の有効性を検証するため, 局所保存による非監督GE法LPP, 局所保存のない監督GE法LDA, 局所保存による監督GE法LFDA, CL-LPP, CL-LDA, CL-LFDAをそれぞれ提案した。 最後に,5つの実データを用いた数値実験を行った。

関連論文リスト

• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology [6.6682038218782065]
  我々は,経験的リスク最小化問題に対して,勾配に基づく最適化手法を統一する汎用フレームワークを開発した。 本稿では,SAGA,Local-SVRG,GT-SAGAなどの分散還元(VR)および勾配追跡(GT)手法の統一的な視点を提供する。 その結果、VRとGTの手法は、それぞれデバイス内およびデバイス間のデータを効果的に排除し、アルゴリズムを最適解に正確に収束させることができることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T07:50:08Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Unsupervised Learning on 3D Point Clouds by Clustering and Contrasting [11.64827192421785]
  教師なし表現学習は、人間の介入なしに機能を自動抽出するための有望な方向である。 本稿では、ポイントワイドおよびグローバルな特徴の学習を行うために、textbfConClu という、一般的な教師なしアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-05T12:54:17Z)
• Unsupervised feature selection via self-paced learning and low-redundant regularization [6.083524716031565]
  自己評価学習とサブスペース学習の枠組みを統合することにより,教師なしの特徴選択を提案する。 この手法の収束性は理論的および実験的に証明される。 実験の結果,提案手法はクラスタリング法の性能を向上し,他の比較アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-12-14T08:28:19Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints [15.296955630621566]
  Constr-DRKMは、非教師なしデータ表現の学習のためのディープカーネル手法である。 本研究では,不整合特徴学習における提案手法の有効性を定量的に評価する。
  論文  参考訳（メタデータ） (2020-11-25T11:40:10Z)
• Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
  本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。 本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。 外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
  論文  参考訳（メタデータ） (2020-06-15T11:36:59Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。