論文の概要: Consistency of augmentation graph and network approximability in contrastive learning

• arxiv url: http://arxiv.org/abs/2502.04312v1
• Date: Thu, 06 Feb 2025 18:55:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:29:21.728743
• Title: Consistency of augmentation graph and network approximability in contrastive learning
• Title（参考訳）: コントラスト学習における拡張グラフの一貫性とネットワーク近似性
• Authors: Chenghui Li, A. Martina Neuman,
• Abstract要約: 拡張グラフ Laplacian の点次およびスペクトルの整合性について解析する。 ラプラシアンは自然データ多様体上の重み付きラプラス・ベルトラミ作用素に収束することを示す。 これらの整合性は、グラフラプラシアスペクトルが多様体幾何学を効果的に捉えることを保証する。
• 参考スコア（独自算出の注目度）: 3.053989095162017
• License:
• Abstract: Contrastive learning leverages data augmentation to develop feature representation without relying on large labeled datasets. However, despite its empirical success, the theoretical foundations of contrastive learning remain incomplete, with many essential guarantees left unaddressed, particularly the realizability assumption concerning neural approximability of an optimal spectral contrastive loss solution. In this work, we overcome these limitations by analyzing the pointwise and spectral consistency of the augmentation graph Laplacian. We establish that, under specific conditions for data generation and graph connectivity, as the augmented dataset size increases, the augmentation graph Laplacian converges to a weighted Laplace-Beltrami operator on the natural data manifold. These consistency results ensure that the graph Laplacian spectrum effectively captures the manifold geometry. Consequently, they give way to a robust framework for establishing neural approximability, directly resolving the realizability assumption in a current paradigm.
• Abstract（参考訳）: コントラスト学習は、データ拡張を活用して、大きなラベル付きデータセットに頼ることなく、特徴表現を開発する。 しかし、その経験的成功にもかかわらず、コントラスト学習の理論的基礎は不完全であり、多くの重要な保証が未解決のまま残されており、特に最適スペクトルのコントラスト損失解の神経近似性に関する実現可能性の仮定が残されている。 本研究では、拡張グラフラプラシアンの点的およびスペクトル的整合性を分析することにより、これらの制限を克服する。 データ生成やグラフ接続の特定の条件下では、拡張データセットのサイズが大きくなるにつれて、ラプラシアンは自然データ多様体上の重み付きラプラス・ベルトラミ作用素に収束する。 これらの整合性は、グラフラプラシアスペクトルが多様体幾何学を効果的に捉えることを保証する。 その結果、現在のパラダイムで実現可能性の仮定を直接解決して、ニューラルネットワークの近似性を確立するための堅牢なフレームワークが実現された。

関連論文リスト

• Matrix Completion with Graph Information: A Provable Nonconvex Optimization Approach [5.235925587710112]
  本稿では,グラフを用いた行列補完の問題について,変数間の相互関係を表す側情報として考察する。 本稿では,事前条件付き投射降下法に基づくGSGDと呼ばれるグラフ正規化行列補完アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-12T16:21:01Z)
• Residual connections provably mitigate oversmoothing in graph neural networks [33.548465692402765]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの処理と表現において、目覚ましい成功を収めた。 しかし、"oversmoothing"として知られる重要な課題が続き、表現的特徴が深いGNNではほとんど区別できないようになる。 本研究では,GNNの残差と非残差を考慮した過平滑化速度を解析する。
  論文  参考訳（メタデータ） (2025-01-01T07:35:36Z)
• Unitary convolutions for learning on graphs and groups [0.9899763598214121]
  我々は、訓練中により安定したより深いネットワークを可能にするユニタリグループ畳み込みについて研究する。 論文の主な焦点はグラフニューラルネットワークであり、ユニタリグラフの畳み込みがオーバー・スムーシングを確実に回避していることを示す。 実験結果から,ベンチマークデータセット上でのユニタリグラフ畳み込みネットワークの競合性能が確認できた。
  論文  参考訳（メタデータ） (2024-10-07T21:09:14Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
  構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
  論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference [48.63194907060615]
  半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。 我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
  論文  参考訳（メタデータ） (2020-10-31T05:48:34Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)
• Residual Correlation in Graph Neural Network Regression [39.54530450932135]
  我々は条件付き独立仮定が予測力を著しく制限していることを示します。 この問題を解釈可能かつ効率的なフレームワークで解決する。 我々のフレームワークは、競合するベースラインよりもかなり高い精度を実現している。
  論文  参考訳（メタデータ） (2020-02-19T16:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。