Fugu-MT 論文翻訳(概要): Curriculum Learning for Graph Neural Networks: Which Edges Should We Learn First

論文の概要: Curriculum Learning for Graph Neural Networks: Which Edges Should We Learn First

arxiv url: http://arxiv.org/abs/2310.18735v1
Date: Sat, 28 Oct 2023 15:35:34 GMT
ステータス: 処理完了
システム内更新日: 2023-10-31 16:56:57.444856
Title: Curriculum Learning for Graph Neural Networks: Which Edges Should We Learn First
Title（参考訳）: グラフニューラルネットワークのカリキュラム学習:どのエッジを最初に学ぶべきか
Authors: Zheng Zhang, Junxiang Wang, and Liang Zhao
Abstract要約: 本研究は, 難易度から難易度, 難易度に応じて, より多くのエッジをトレーニングに組み込む新しい戦略を提案する。提案手法の強みは,学習した表現の一般化能力とロバスト性の向上である。
参考スコア（独自算出の注目度）: 13.37867275976255
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Neural Networks (GNNs) have achieved great success in representing data with dependencies by recursively propagating and aggregating messages along the edges. However, edges in real-world graphs often have varying degrees of difficulty, and some edges may even be noisy to the downstream tasks. Therefore, existing GNNs may lead to suboptimal learned representations because they usually treat every edge in the graph equally. On the other hand, Curriculum Learning (CL), which mimics the human learning principle of learning data samples in a meaningful order, has been shown to be effective in improving the generalization ability and robustness of representation learners by gradually proceeding from easy to more difficult samples during training. Unfortunately, existing CL strategies are designed for independent data samples and cannot trivially generalize to handle data dependencies. To address these issues, we propose a novel CL strategy to gradually incorporate more edges into training according to their difficulty from easy to hard, where the degree of difficulty is measured by how well the edges are expected given the model training status. We demonstrate the strength of our proposed method in improving the generalization ability and robustness of learned representations through extensive experiments on nine synthetic datasets and nine real-world datasets. The code for our proposed method is available at https://github.com/rollingstonezz/Curriculum_learning_for_GNNs.
Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、エッジに沿ってメッセージを再帰的に伝播し集約することで、依存のあるデータを表現することに成功しています。しかし、実世界のグラフのエッジは、しばしば様々な難易度を持ち、一部のエッジは下流のタスクにうるさいかもしれない。したがって、既存のGNNはグラフのすべてのエッジを等しく扱うため、最適に学習された表現につながる可能性がある。一方,データサンプルを有意な順序で学習する人間の学習原理を模倣したカリキュラム学習(CL)は,学習中の易易度から難易度まで段階的に進むことで,表現学習者の一般化能力と堅牢性の向上に有効であることが示されている。残念ながら、既存のCL戦略は独立したデータサンプル用に設計されており、データの依存関係を処理するために自明に一般化することはできない。これらの課題に対処するために,モデルの訓練状況からエッジがどの程度期待されるかによって,難易度から難易度までに応じて,より多くのエッジを段階的にトレーニングに組み込む新しいCL戦略を提案する。提案手法の強みは,9つの合成データセットと9つの実世界のデータセットに対する広範な実験を通じて,学習した表現の一般化能力と堅牢性を向上させることである。提案手法のコードはhttps://github.com/rollingstonezz/curriculum_learning_for_gnnsで利用可能である。

関連論文リスト

Loss-aware Curriculum Learning for Heterogeneous Graph Neural Networks [30.333265803394998]
異種グラフニューラルネットワーク(GNN)の性能向上のためのカリキュラム学習手法の適用について検討する。データの品質をよりよく分類するために、データの全ノードの品質を測定するLTSと呼ばれる損失認識トレーニングスケジュールを設計する。本研究は,複雑なグラフ構造データ解析のためのHGNNの能力向上のためのカリキュラム学習の有効性を示すものである。
論文参考訳（メタデータ） (2024-02-29T05:44:41Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文参考訳（メタデータ） (2023-05-29T04:51:09Z)
A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文参考訳（メタデータ） (2022-07-29T02:34:19Z)
Certified Graph Unlearning [39.29148804411811]
グラフ構造化データは実際にユビキタスであり、しばしばグラフニューラルネットワーク(GNN)を使用して処理される我々は,GNNのemph認定グラフアンラーニングのための最初のフレームワークを紹介する。ノード機能、エッジ、ノードアンラーニングの3つの異なるタイプのアンラーニング要求を検討する必要がある。
論文参考訳（メタデータ） (2022-06-18T07:41:10Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
論文参考訳（メタデータ） (2021-08-24T05:00:37Z)
Jointly Learnable Data Augmentations for Self-Supervised GNNs [0.311537581064266]
本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
論文参考訳（メタデータ） (2021-08-23T21:33:12Z)
Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
論文参考訳（メタデータ） (2021-06-05T13:20:36Z)
Scalable Graph Neural Network Training: The Case for Sampling [4.9201378771958675]
グラフニューラルネットワーク(Graph Neural Networks、GNN)は、グラフ上で学習を行うディープニューラルネットワークアーキテクチャの新しい、ますます普及しているファミリです。グラフデータの不規則性から、効率的にトレーニングすることは難しい。文献には、全グラフとサンプルベースのトレーニングという2つの異なるアプローチが登場した。
論文参考訳（メタデータ） (2021-05-05T20:44:10Z)
Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning [21.0019144298605]
既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。 textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
論文参考訳（メタデータ） (2020-09-22T01:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。