論文の概要: Beyond Separability: Analyzing the Linear Transferability of Contrastive
Representations to Related Subpopulations
- arxiv url: http://arxiv.org/abs/2204.02683v1
- Date: Wed, 6 Apr 2022 09:10:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 14:56:49.254262
- Title: Beyond Separability: Analyzing the Linear Transferability of Contrastive
Representations to Related Subpopulations
- Title（参考訳）: 分離性を超えて:相対的表現の関連亜集団への線形移動性の解析
- Authors: Jeff Z. HaoChen, Colin Wei, Ananya Kumar, Tengyu Ma
- Abstract要約: コントラスト学習(Contrastive Learning)は、ラベルのないデータを用いて、下流の分類タスクに線形に分離可能な表現を生成する、非常に効果的な手法である。
最近の研究では、対照的表現はデータが単一のドメインから来るときに有用であるだけでなく、ドメイン間での転送にも有効であることが示されている。
- 参考スコア（独自算出の注目度）: 50.33975968859988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning is a highly effective method which uses unlabeled data
to produce representations which are linearly separable for downstream
classification tasks. Recent works have shown that contrastive representations
are not only useful when data come from a single domain, but are also effective
for transferring across domains. Concretely, when contrastive representations
are trained on data from two domains (a source and target) and a linear
classification head is trained to predict labels using only the labeled source
data, the resulting classifier also exhibits good transfer to the target
domain. In this work, we analyze this linear transferability phenomenon,
building upon the framework proposed by HaoChen et al (2021) which relates
contrastive learning to spectral clustering of a positive-pair graph on the
data. We prove that contrastive representations capture relationships between
subpopulations in the positive-pair graph: linear transferability can occur
when data from the same class in different domains (e.g., photo dogs and
cartoon dogs) are connected in the graph. Our analysis allows the source and
target classes to have unbounded density ratios and be mapped to distant
representations. Our proof is also built upon technical improvements over the
main results of HaoChen et al (2021), which may be of independent interest.
- Abstract（参考訳）: コントラスト学習は、ラベルのないデータを用いて下流分類タスクで線形に分離可能な表現を生成する、非常に効果的な方法である。
最近の研究では、対照的表現はデータが単一のドメインから来るときだけでなく、ドメイン間の転送にも有効であることが示されている。
具体的には、2つのドメイン(ソースとターゲット)のデータに基づいてコントラスト表現をトレーニングし、ラベル付きソースデータのみを使用してラベルを予測する線形分類ヘッドをトレーニングすると、その結果の分類器もターゲットドメインへの良好な転送を示す。
本研究では,データ上の正対グラフのスペクトルクラスタリングと対比学習を関連づけた,HaoChen et al (2021) の提唱したフレームワークに基づいて,この線形移動可能性現象を解析する。
比較表現が正対グラフのサブポピュレーション間の関係を捉えていることが証明された: 異なる領域の同じクラスのデータ(例えば、写真犬と漫画犬)がグラフに接続されたときに、線形転送可能性が発生する。
我々の分析により、ソースクラスとターゲットクラスは非有界密度比を持ち、遠方の表現にマッピングできる。
私たちの証明は、HaoChen et al(2021年)の主な成果に対する技術的改善にも基づいています。
関連論文リスト
- kNN Classification of Malware Data Dependency Graph Features [0.0]
本研究では,構造や意味に関連付けられた特徴を用いて,正確な分類を行う。
ラベル付きデータを用いて正確なモデルを訓練することにより、この意味論の特徴表現が基底真理ラベルと相関していることが示される。
この結果から,データ依存グラフが意味的情報と構造的情報の両方を正確に把握し,分類結果の説明可能性を高めることが示唆された。
論文 参考訳（メタデータ） (2024-06-04T16:39:02Z) - Domain Adaptive Graph Classification [0.0]
本稿では,グラフトポロジを二分枝から探索し,二分枝学習による領域差を緩和するDual Adversarial Graph Representation Learning(DAGRL)を提案する。
提案手法では,適応的な摂動を二重分岐に組み込み,ソースとターゲット分布をドメインの整合性に対応させる。
論文 参考訳（メタデータ） (2023-12-21T02:37:56Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳（メタデータ） (2023-02-28T22:14:33Z) - You Only Transfer What You Share: Intersection-Induced Graph Transfer
Learning for Link Prediction [79.15394378571132]
従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。
より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。
この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
論文 参考訳（メタデータ） (2023-02-27T22:56:06Z) - Metric Distribution to Vector: Constructing Data Representation via
Broad-Scale Discrepancies [15.40538348604094]
本稿では,各データに対するベクトル表現に分布特性を抽出するために, $mathbfMetricDistribution2vec$ という新しい埋め込み方式を提案する。
本研究では,広範囲な実世界構造グラフデータセット上での教師付き予測タスクにおける表現法の適用と有効性を示す。
論文 参考訳（メタデータ） (2022-10-02T03:18:30Z) - Similarity-aware Positive Instance Sampling for Graph Contrastive
Pre-training [82.68805025636165]
トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。
私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。
さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
論文 参考訳（メタデータ） (2022-06-23T20:12:51Z) - Provable Guarantees for Self-Supervised Deep Learning with Spectral
Contrastive Loss [72.62029620566925]
自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。
我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。
本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
論文 参考訳（メタデータ） (2021-06-08T07:41:02Z) - TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain
Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。
我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。
提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-02-09T03:07:07Z) - i-Mix: A Domain-Agnostic Strategy for Contrastive Representation
Learning [117.63815437385321]
対照的な表現学習を改善するために, 単純で効果的なドメインに依存しない正規化戦略i-Mixを提案する。
実験では、i-Mixはドメイン間の学習表現の質を一貫して改善することを示した。
論文 参考訳（メタデータ） (2020-10-17T23:32:26Z) - Geometric graphs from data to aid classification tasks with graph
convolutional networks [0.0]
データセットに付加的な関係情報が得られなくても,特徴量自体から幾何グラフを構築して分類を改善することができることを示す。
分類精度の向上は、比較的低いエッジ密度のサンプル類似性をキャプチャするグラフによって最大化される。
論文 参考訳（メタデータ） (2020-05-08T15:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。