論文の概要: Integrating Auxiliary Information in Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2106.02869v1
• Date: Sat, 5 Jun 2021 11:01:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:55:25.688269
• Title: Integrating Auxiliary Information in Self-supervised Learning
• Title（参考訳）: 自己教師付き学習における補助情報の統合
• Authors: Yao-Hung Hubert Tsai, Tianqin Li, Weixin Liu, Peiyuan Liao, Ruslan Salakhutdinov, Louis-Philippe Morency
• Abstract要約: まず、補助情報がデータ構造に関する有用な情報をもたらす可能性があることを観察する。 補助情報に基づいてデータクラスタを構築する。 我々はCl-InfoNCEがデータクラスタリング情報を活用するためのより良いアプローチであることを示した。
• 参考スコア（独自算出の注目度）: 94.11964997622435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents to integrate the auxiliary information (e.g., additional attributes for data such as the hashtags for Instagram images) in the self-supervised learning process. We first observe that the auxiliary information may bring us useful information about data structures: for instance, the Instagram images with the same hashtags can be semantically similar. Hence, to leverage the structural information from the auxiliary information, we present to construct data clusters according to the auxiliary information. Then, we introduce the Clustering InfoNCE (Cl-InfoNCE) objective that learns similar representations for augmented variants of data from the same cluster and dissimilar representations for data from different clusters. Our approach contributes as follows: 1) Comparing to conventional self-supervised representations, the auxiliary-information-infused self-supervised representations bring the performance closer to the supervised representations; 2) The presented Cl-InfoNCE can also work with unsupervised constructed clusters (e.g., k-means clusters) and outperform strong clustering-based self-supervised learning approaches, such as the Prototypical Contrastive Learning (PCL) method; 3) We show that Cl-InfoNCE may be a better approach to leverage the data clustering information, by comparing it to the baseline approach - learning to predict the clustering assignments with cross-entropy loss. For analysis, we connect the goodness of the learned representations with the statistical relationships: i) the mutual information between the labels and the clusters and ii) the conditional entropy of the clusters given the labels.
• Abstract（参考訳）: 本稿では,自己教師型学習プロセスにおいて補助情報(例えば,Instagram画像のハッシュタグなどのデータに対する付加属性)を統合する。 例えば、同じハッシュタグを持つinstagramの画像は、意味的に類似している可能性がある。 したがって、補助情報からの構造情報を活用するために、補助情報に従ってデータクラスタを構築する。 次に、同一クラスタから拡張されたデータの類似表現と、異なるクラスタからのデータの異種表現を学習するCl-InfoNCE(Cl-InfoNCE)の目的を紹介する。 Our approach contributes as follows: 1) Comparing to conventional self-supervised representations, the auxiliary-information-infused self-supervised representations bring the performance closer to the supervised representations; 2) The presented Cl-InfoNCE can also work with unsupervised constructed clusters (e.g., k-means clusters) and outperform strong clustering-based self-supervised learning approaches, such as the Prototypical Contrastive Learning (PCL) method; 3) We show that Cl-InfoNCE may be a better approach to leverage the data clustering information, by comparing it to the baseline approach - learning to predict the clustering assignments with cross-entropy loss. 解析のために,学習した表現の良さと統計的関係を結びつける:i)ラベルとクラスタ間の相互情報,i)ラベルが与えられたクラスタの条件エントロピー。

関連論文リスト

• Adaptive Self-supervised Robust Clustering for Unstructured Data with Unknown Cluster Number [12.926206811876174]
  適応型自己教師型ロバストクラスタリング(Adaptive Self-supervised Robust Clustering, ASRC)と呼ばれる非構造化データに適した,新たな自己教師型ディープクラスタリング手法を提案する。 ASRCはグラフ構造とエッジ重みを適応的に学習し、局所構造情報と大域構造情報の両方をキャプチャする。 ASRCは、クラスタ数の事前知識に依存するメソッドよりも優れており、非構造化データのクラスタリングの課題に対処する上での有効性を強調している。
  論文  参考訳（メタデータ） (2024-07-29T15:51:09Z)
• ClusterNet: A Perception-Based Clustering Model for Scattered Data [16.326062082938215]
  クラスタ分離は、一般的に広く使用されているクラスタリング技術によって取り組まれるタスクである。 本稿では,分散データを直接操作する学習戦略を提案する。 私たちは、ポイントベースのディープラーニングモデルであるClusterNetをトレーニングし、クラスタ分離性に対する人間の認識を反映するように訓練します。
  論文  参考訳（メタデータ） (2023-04-27T13:41:12Z)
• Improved Representation Learning Through Tensorized Autoencoders [7.056005298953332]
  オートエンコーダ(AE)は、教師なし表現学習において広く使われている。 本稿では,任意のAEアーキテクチャをテンソル化バージョン(TAE)に拡張するメタアルゴリズムを提案する。 我々は,TAEが標準AEによって回収されたデータ全体の原理成分とは対照的に,異なるクラスタの原理成分を復元できることを証明した。
  論文  参考訳（メタデータ） (2022-12-02T09:29:48Z)
• Seeking the Truth Beyond the Data. An Unsupervised Machine Learning Approach [0.0]
  クラスタリングは、ラベルのない要素/オブジェクトがグループ化される、教師なしの機械学習方法論である。 この記事では、最も広く使われているクラスタリング手法について詳しく説明する。 3つのデータセットに基づいて、これらのアルゴリズムのクラスタリング効率の比較を強調している。
  論文  参考訳（メタデータ） (2022-07-14T14:22:36Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• ACTIVE:Augmentation-Free Graph Contrastive Learning for Partial Multi-View Clustering [52.491074276133325]
  部分的マルチビュークラスタリングの問題を解決するために,拡張自由グラフコントラスト学習フレームワークを提案する。 提案手法は、インスタンスレベルのコントラスト学習と欠落データ推論をクラスタレベルに高め、個々の欠落データがクラスタリングに与える影響を効果的に軽減する。
  論文  参考訳（メタデータ） (2022-03-01T02:32:25Z)
• Learning Weakly-Supervised Contrastive Representations [104.42824068960668]
  弱教師付きコントラスト学習手法を2段階提案する。 第1段階は、その補助情報に従ってデータをクラスタ化することである。 2つ目のステージは、同じクラスタ内で同様の表現を学習し、異なるクラスタからのデータに対して異なる表現を学習することである。
  論文  参考訳（メタデータ） (2022-02-14T12:57:31Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。