論文の概要: Spectral Feature Augmentation for Graph Contrastive Learning and Beyond

• arxiv url: http://arxiv.org/abs/2212.01026v1
• Date: Fri, 2 Dec 2022 08:48:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 15:36:36.021193
• Title: Spectral Feature Augmentation for Graph Contrastive Learning and Beyond
• Title（参考訳）: グラフコントラスト学習のためのスペクトル特徴拡張とその応用
• Authors: Yifei Zhang, Hao Zhu, Zixing Song, Piotr Koniusz, Irwin King
• Abstract要約: グラフ(および画像)におけるコントラスト学習のための新しいスペクトル特徴論法を提案する。 各データビューに対して,特徴写像毎の低ランク近似を推定し,その近似を地図から抽出して補数を求める。 これは、2つの価値ある副産物(単に1つまたは2つのイテレーション)を楽しむ非標準パワーレジームである、ここで提案された不完全パワーイテレーションによって達成される。 グラフ/画像データセットの実験では、スペクトルフィーチャの増大がベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 64.78221638149276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although augmentations (e.g., perturbation of graph edges, image crops) boost the efficiency of Contrastive Learning (CL), feature level augmentation is another plausible, complementary yet not well researched strategy. Thus, we present a novel spectral feature argumentation for contrastive learning on graphs (and images). To this end, for each data view, we estimate a low-rank approximation per feature map and subtract that approximation from the map to obtain its complement. This is achieved by the proposed herein incomplete power iteration, a non-standard power iteration regime which enjoys two valuable byproducts (under mere one or two iterations): (i) it partially balances spectrum of the feature map, and (ii) it injects the noise into rebalanced singular values of the feature map (spectral augmentation). For two views, we align these rebalanced feature maps as such an improved alignment step can focus more on less dominant singular values of matrices of both views, whereas the spectral augmentation does not affect the spectral angle alignment (singular vectors are not perturbed). We derive the analytical form for: (i) the incomplete power iteration to capture its spectrum-balancing effect, and (ii) the variance of singular values augmented implicitly by the noise. We also show that the spectral augmentation improves the generalization bound. Experiments on graph/image datasets show that our spectral feature augmentation outperforms baselines, and is complementary with other augmentation strategies and compatible with various contrastive losses.
• Abstract（参考訳）: 拡張(グラフエッジの摂動、画像作物)は、コントラスト学習(cl)の効率を高めるが、特徴レベルの拡張は、もう1つの可能性があり、相補的であるが、十分に研究されていない戦略である。 そこで本稿では,グラフ(および画像)のコントラスト学習のための新しいスペクトル特徴論を提案する。 この目的のために、各データビューに対して、特徴マップ毎の低ランク近似を推定し、その近似をその近似から減算して補数を得る。 これは、2つの価値ある副産物(単に1つまたは2つのイテレーションで)を楽しむ非標準のパワーイテレーションシステムである不完全パワーイテレーションによって実現される。 (i)特徴マップのスペクトルを部分的にバランスさせ、 (ii)特徴写像の特異値の再均衡(スペクトル拡大)に雑音を注入する。 2つのビューに対して、これらの再バランス特徴写像をアライメントし、改良されたアライメントステップは、両方のビューの行列のより支配的な特異値よりも焦点を合わせることができるが、スペクトル拡張はスペクトル角アライメントに影響を与えない(特異ベクトルは摂動しない)。 我々は以下の分析形式を導出する。 (i)そのスペクトルバランス効果を捉えるための不完全なパワーイテレーション (ii)ノイズによって暗黙的に強調される特異値のばらつき。 また、スペクトル拡大により一般化境界が向上することを示す。 グラフ/画像データセットを用いた実験では,スペクトル特徴拡張がベースラインよりも優れており,他の拡張戦略と相補的であり,様々なコントラスト損失と互換性があることが示された。

関連論文リスト

• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Graph Generation via Spectral Diffusion [51.60814773299899]
  本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGRASPを提案する。 具体的には、固有ベクトルと固有値のサンプリングにデノナイジングモデルを用い、グラフラプラシアン行列と隣接行列を再構成する。 我々の置換不変モデルは各ノードの固有ベクトルに連結することでノードの特徴を扱える。
  論文  参考訳（メタデータ） (2024-02-29T09:26:46Z)
• Through the Dual-Prism: A Spectral Perspective on Graph Data Augmentation for Graph Classification [71.36575018271405]
  本稿では,DP-NoiseとDP-Maskを組み合わせたDual-Prism(DP)拡張手法を提案する。 低周波固有値の変動を保ちながら、拡張グラフを生成する際に、臨界特性を大規模に保存できることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T12:58:53Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Spectral Augmentation for Self-Supervised Learning on Graphs [43.19199994575821]
  グラフコントラスト学習(GCL)は、インスタンス識別を通じて表現を学習することを目的としている。 これは、小さな摂動に対して堅牢な不変パターンを反映するためにグラフ拡張に依存する。 最近の研究は、空間領域における一様ランダムなトポロジー拡張を主に実施している。 スペクトル変化を最大化することによりトポロジ拡張を導出するスペクトル拡張を開発する。
  論文  参考訳（メタデータ） (2022-10-02T22:20:07Z)
• Robust, Nonparametric, Efficient Decomposition of Spectral Peaks under Distortion and Interference [0.0]
  本稿では, 高速フーリエ変換を用いて, 周波数スペクトルのスペクトルピークの分解法を提案する。 スペクトルのピークを擬対称関数としてモデル化する。そこでは、距離が大きくなると中心周波数の周りの非増加的な振る舞いが制約となる。 我々のアプローチは、観測システムによって引き起こされる可能性のあるスペクトルの任意の歪み、干渉、ノイズに対してより堅牢である。
  論文  参考訳（メタデータ） (2022-04-18T17:08:37Z)
• Graph Structural Attack by Spectral Distance [35.998704625736394]
  グラフ畳み込みネットワーク(GCN)は、グラフ学習タスクにおける優れたパフォーマンスのために、関心の高まりを助長している。 本稿では,フーリエ領域におけるグラフスペクトルフィルタの破壊に有効なグラフ構造攻撃について検討する。
  論文  参考訳（メタデータ） (2021-11-01T04:02:34Z)
• Deeply Learned Spectral Total Variation Decomposition [8.679020335206753]
  非線形スペクトル分解のニューラルネットワーク近似を提案する。 我々は、メガピクセルサイズの画像の処理において最大4桁(時間1万ドル)のスピードアップを報告した。
  論文  参考訳（メタデータ） (2020-06-17T17:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。