論文の概要: Augmentation-Free Graph Contrastive Learning of Invariant-Discriminative
Representations
- arxiv url: http://arxiv.org/abs/2210.08345v1
- Date: Sat, 15 Oct 2022 17:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 16:49:04.751942
- Title: Augmentation-Free Graph Contrastive Learning of Invariant-Discriminative
Representations
- Title（参考訳）: 不変差分表現の拡張自由グラフコントラスト学習
- Authors: Haifeng Li, Jun Cao, Jiawei Zhu, Qinyao Luo, Silu He, Xuyin Wang
- Abstract要約: 本稿では,iGCL (invariant-discriminative graph contrastive learning) という拡張自由グラフ比較学習法を提案する。
iGCLは不変・識別的損失(ID損失)を設計し、不変・識別的表現を学習する。
本理論は, 冗長性低減基準, 正準相関解析, および情報ボトルネック原理の観点から, ID損失の有効性を説明する。
- 参考スコア（独自算出の注目度）: 2.0621215354103635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The pretasks are mainly built on mutual information estimation, which
requires data augmentation to construct positive samples with similar semantics
to learn invariant signals and negative samples with dissimilar semantics in
order to empower representation discriminability. However, an appropriate data
augmentation configuration depends heavily on lots of empirical trials such as
choosing the compositions of data augmentation techniques and the corresponding
hyperparameter settings. We propose an augmentation-free graph contrastive
learning method, invariant-discriminative graph contrastive learning (iGCL),
that does not intrinsically require negative samples. iGCL designs the
invariant-discriminative loss (ID loss) to learn invariant and discriminative
representations. On the one hand, ID loss learns invariant signals by directly
minimizing the mean square error between the target samples and positive
samples in the representation space. On the other hand, ID loss ensures that
the representations are discriminative by an orthonormal constraint forcing the
different dimensions of representations to be independent of each other. This
prevents representations from collapsing to a point or subspace. Our
theoretical analysis explains the effectiveness of ID loss from the
perspectives of the redundancy reduction criterion, canonical correlation
analysis, and information bottleneck principle. The experimental results
demonstrate that iGCL outperforms all baselines on 5 node classification
benchmark datasets. iGCL also shows superior performance for different label
ratios and is capable of resisting graph attacks, which indicates that iGCL has
excellent generalization and robustness.
- Abstract（参考訳）: プレタスクは主に相互情報推定に基づいて構築され、データ拡張は、表現の識別性を高めるために、類似した意味を持つ正のサンプルを構築し、不変な信号と異なる意味を持つ負のサンプルを学習する。
しかし、適切なデータ拡張設定は、データ拡張技術の構成と対応するハイパーパラメータ設定を選択するなど、多くの経験的試行に大きく依存する。
本稿では,本質的に負のサンプルを必要としない拡張自由グラフコントラスト学習法,不変判別グラフコントラスト学習(igcl)を提案する。
igclは不変および判別表現を学ぶために不変識別損失(id損失)を設計する。
一方、id損失は、対象サンプルと表現空間内の正のサンプルの間の平均二乗誤差を直接最小化し、不変信号を学ぶ。
一方、id損失は表現の異なる次元が互いに独立であるように強制する正規直交制約によって表現が判別されることを保証する。
これにより、表現が点または部分空間に崩壊することを防ぐ。
本理論は, 冗長性低減基準, 正準相関解析, および情報ボトルネック原理の観点から, ID損失の有効性を説明する。
実験の結果、iGCLは5ノード分類ベンチマークデータセットのベースラインを全て上回ることがわかった。
iGCLはラベルの異なる比率で優れた性能を示し、グラフ攻撃に抵抗できるが、これはiGCLが優れた一般化と堅牢性を持っていることを示している。
関連論文リスト
- Negative-Free Self-Supervised Gaussian Embedding of Graphs [29.26519601854811]
グラフコントラスト学習(GCL)は、有望なグラフ自己教師型学習フレームワークとして登場した。
正規化された等方的ガウス関数に従って分布する点が単位超球面全体に均一に広がるという事実に着想を得た、一様性を達成するための負の目的を提案する。
提案手法は,既存のGCL法と比較して,少ないパラメータ,短いトレーニング時間,少ないメモリ消費で競合性能を実現する。
論文 参考訳（メタデータ） (2024-11-02T07:04:40Z) - Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。
対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
論文 参考訳（メタデータ） (2024-07-23T13:55:33Z) - Prototypical Contrastive Learning through Alignment and Uniformity for
Recommendation [6.790779112538357]
提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。
具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。
明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
論文 参考訳（メタデータ） (2024-02-03T08:19:26Z) - Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。
我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文 参考訳（メタデータ） (2023-09-14T00:40:07Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Single-Pass Contrastive Learning Can Work for Both Homophilic and
Heterophilic Graph [60.28340453547902]
グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。
既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。
我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。
経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
論文 参考訳（メタデータ） (2022-11-20T07:18:56Z) - Rethinking Prototypical Contrastive Learning through Alignment,
Uniformity and Correlation [24.794022951873156]
我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。
具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
論文 参考訳（メタデータ） (2022-10-18T22:33:12Z) - Hierarchical Semi-Supervised Contrastive Learning for
Contamination-Resistant Anomaly Detection [81.07346419422605]
異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。
コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。
汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-24T18:49:26Z) - Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。
具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。
クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文 参考訳（メタデータ） (2021-06-17T16:45:31Z) - Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
興味のある変数に不変な学習表現に対して,損失のクラスを導入する。
外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
論文 参考訳（メタデータ） (2021-02-16T18:29:28Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。