Fugu-MT 論文翻訳(概要): Mitigating Degree Biases in Message Passing Mechanism by Utilizing Community Structures

論文の概要: Mitigating Degree Biases in Message Passing Mechanism by Utilizing Community Structures

arxiv url: http://arxiv.org/abs/2312.16788v1
Date: Thu, 28 Dec 2023 02:30:13 GMT
ステータス: 処理完了
システム内更新日: 2023-12-29 17:43:50.577491
Title: Mitigating Degree Biases in Message Passing Mechanism by Utilizing Community Structures
Title（参考訳）: コミュニティ構造を活用したメッセージパッシング機構における程度バイアスの軽減
Authors: Van Thuy Hoang and O-Joun Lee
Abstract要約: 本稿では,学習可能な拡張とグラフトランスフォーマーに基づいて,次数不偏表現を学習するためのコミュニティ対応グラフトランス (CGT) を提案する。まず、学習可能なグラフ拡張を設計し、エッジの摂動を通じて低次ノードを接続するコミュニティ内エッジを生成する。第2に,コミュニティ内のノードの近接性や役割を学習するための自己意識の改善を提案する。
参考スコア（独自算出の注目度）: 2.5252594834159643
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study utilizes community structures to address node degree biases in message-passing (MP) via learnable graph augmentations and novel graph transformers. Recent augmentation-based methods showed that MP neural networks often perform poorly on low-degree nodes, leading to degree biases due to a lack of messages reaching low-degree nodes. Despite their success, most methods use heuristic or uniform random augmentations, which are non-differentiable and may not always generate valuable edges for learning representations. In this paper, we propose Community-aware Graph Transformers, namely CGT, to learn degree-unbiased representations based on learnable augmentations and graph transformers by extracting within community structures. We first design a learnable graph augmentation to generate more within-community edges connecting low-degree nodes through edge perturbation. Second, we propose an improved self-attention to learn underlying proximity and the roles of nodes within the community. Third, we propose a self-supervised learning task that could learn the representations to preserve the global graph structure and regularize the graph augmentations. Extensive experiments on various benchmark datasets showed CGT outperforms state-of-the-art baselines and significantly improves the node degree biases. The source code is available at https://github.com/NSLab-CUK/Community-aware-Graph-Transformer.
Abstract（参考訳）: 本研究は,学習可能なグラフ拡張と新しいグラフトランスフォーマーを用いて,メッセージパス(mp)におけるノード次数バイアスに対処するために,コミュニティ構造を利用する。最近の拡張ベースの手法では、MPニューラルネットワークは低次ノードでよく機能しておらず、低次ノードにメッセージが届かないため、度合いの偏りが生じる。その成功にもかかわらず、ほとんどの手法は非微分可能であり、常に学習表現のための価値あるエッジを生成するとは限らないヒューリスティックまたは一様ランダム拡張を用いる。本稿では,コミュニティ構造内を抽出することで,学習可能な拡張とグラフトランスフォーマーに基づく等級不偏表現を学習するための,コミュニティ対応グラフトランスフォーマー,すなわちCGTを提案する。まず,学習可能なグラフ拡張の設計を行い,エッジの摂動を通じて低次ノードを接続するコミュニティ内エッジを生成する。第2に,コミュニティ内のノードの近接性や役割を学習するための自己意識の改善を提案する。第3に、グローバルグラフ構造を保存し、グラフ拡張を正規化するための表現を学習できる自己教師型学習タスクを提案する。様々なベンチマークデータセットの大規模な実験により、CGTは最先端のベースラインを上回っ、ノード次数バイアスを大幅に改善した。ソースコードはhttps://github.com/NSLab-CUK/Community-aware-Graph-Transformerで入手できる。

関連論文リスト

Synergistic Deep Graph Clustering Network [14.569867830074292]
我々はSynC(Syngistic Deep Graph Clustering Network)というグラフクラスタリングフレームワークを提案する。本稿では,構造拡張を導くための高品質な埋め込みを実現するために,TIGAE (Transform Input Graph Auto-Encoder) を設計する。特に、表現学習と構造増強は重みを共有し、モデルパラメータの数を著しく減少させる。
論文参考訳（メタデータ） (2024-06-22T09:40:34Z)
Gradformer: Graph Transformer with Exponential Decay [69.50738015412189]
グラフ変換器(GT)の自己保持機構は、グラフの帰納バイアス、特に構造に関するバイアスを見落としている。本稿では,GTと本質的帰納バイアスを革新的に統合するGradformerを提案する。 GradformerはグラフニューラルネットワークやGTベースラインモデルよりも、さまざまなグラフ分類や回帰タスクにおいて一貫して優れています。
論文参考訳（メタデータ） (2024-04-24T08:37:13Z)
Self-Attention Empowered Graph Convolutional Network for Structure Learning and Node Embedding [5.164875580197953]
グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
論文参考訳（メタデータ） (2024-03-06T05:00:31Z)
Cell Graph Transformer for Nuclei Classification [78.47566396839628]
我々は,ノードとエッジを入力トークンとして扱うセルグラフ変換器(CGT)を開発した。不愉快な特徴は、騒々しい自己注意スコアと劣等な収束につながる可能性がある。グラフ畳み込みネットワーク(GCN)を利用して特徴抽出器を学習する新しいトポロジ対応事前学習法を提案する。
論文参考訳（メタデータ） (2024-02-20T12:01:30Z)
Transitivity-Preserving Graph Representation Learning for Bridging Local Connectivity and Role-based Similarity [2.5252594834159643]
局所的およびグローバルな構造情報を固定長ベクトル表現に統合するUnified Graph Transformer Networks (UGT)を提案する。まず、UGTは各ノードの局所的な部分構造を特定し、各ノードの$k$ホップ近傍の特徴を集約することによって局所構造を学習する。第三に、UGTは自己アテンションを通じて統一表現を学び、構造距離とノードペア間の$p$ステップ遷移確率を符号化する。
論文参考訳（メタデータ） (2023-08-18T12:49:57Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
論文参考訳（メタデータ） (2022-10-06T15:58:25Z)
Representing Long-Range Context for Graph Neural Networks with Global Attention [37.212747564546156]
本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
論文参考訳（メタデータ） (2022-01-21T18:16:21Z)
Augmentation-Free Self-Supervised Learning on Graphs [7.146027549101716]
AFGRLと呼ばれるグラフのための拡張自由な自己教師型学習フレームワークを提案する。具体的には,局所構造情報とグローバルセマンティクスをグラフと共有するノードを発見することによって,グラフの代替ビューを生成する。
論文参考訳（メタデータ） (2021-12-05T04:20:44Z)
Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning [68.97378785686723]
グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。 GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
論文参考訳（メタデータ） (2021-04-04T23:31:39Z)
Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文参考訳（メタデータ） (2020-10-22T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。