論文の概要: Knowledge Distillation on Graphs: A Survey

• arxiv url: http://arxiv.org/abs/2302.00219v1
• Date: Wed, 1 Feb 2023 03:51:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 18:02:37.136771
• Title: Knowledge Distillation on Graphs: A Survey
• Title（参考訳）: グラフ上の知識蒸留:調査
• Authors: Yijun Tian, Shichao Pei, Xiangliang Zhang, Chuxu Zhang, Nitesh V. Chawla
• Abstract要約: グラフ上の知識蒸留(KDG)は、より小さいが効果的なモデルを構築し、データからより多くの知識を活用するために導入された。 我々は、KDGの課題と基盤を紹介し、KDGの既存の成果を分類し、要約する。
• 参考スコア（独自算出の注目度）: 43.60992916277081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have attracted tremendous attention by demonstrating their capability to handle graph data. However, they are difficult to be deployed in resource-limited devices due to model sizes and scalability constraints imposed by the multi-hop data dependency. In addition, real-world graphs usually possess complex structural information and features. Therefore, to improve the applicability of GNNs and fully encode the complicated topological information, knowledge distillation on graphs (KDG) has been introduced to build a smaller yet effective model and exploit more knowledge from data, leading to model compression and performance improvement. Recently, KDG has achieved considerable progress with many studies proposed. In this survey, we systematically review these works. Specifically, we first introduce KDG challenges and bases, then categorize and summarize existing works of KDG by answering the following three questions: 1) what to distillate, 2) who to whom, and 3) how to distillate. Finally, we share our thoughts on future research directions.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータを扱う能力を示すことで、大きな注目を集めている。 しかし、モデルのサイズやマルチホップデータ依存によるスケーラビリティの制約により、リソース制限されたデバイスにデプロイすることは困難である。 加えて、現実世界のグラフは通常複雑な構造情報と特徴を持っている。 したがって、GNNの適用性を改善し、複雑なトポロジ情報を完全にエンコードするために、グラフ上の知識蒸留(KDG)を導入し、より小型で効果的なモデルを構築し、データからより多くの知識を活用することにより、モデル圧縮と性能の向上を実現している。 近年、KDGは多くの研究でかなりの進歩を遂げている。 本稿では,これらの研究を体系的にレビューする。 具体的には、まずKDGの課題と基礎を紹介し、次に、以下の3つの質問に答えることで、KDGの既存の成果を分類し、要約する。 1)何を蒸留するか。 2)誰が誰に,そして 3)蒸留の仕方。 最後に,今後の研究方向性について考察する。

関連論文リスト

• A Survey on Graph Condensation [14.94630644865636]
  グラフ凝縮(GC)は、グラフデータのエスカレーション量から生じる課題に対処するソリューションとして登場した。 GCをより深く理解し、他の関連するトピックと区別するために、GCの正式な定義を示し、分類を確立します。 我々は、課題と限界に対処し、今後の方向性を概説し、この分野における今後の研究を促すための簡潔なガイドラインを提供することで、結論付けます。
  論文  参考訳（メタデータ） (2024-02-03T02:50:51Z)
• Graph Domain Adaptation: Challenges, Progress and Prospects [61.9048172631524]
  本稿では,グラフ間の効果的な知識伝達パラダイムとしてグラフ領域適応を提案する。 GDAは、ソースグラフとしてタスク関連のグラフを多数導入し、ソースグラフから学習した知識をターゲットグラフに適応させる。 研究状況と課題について概説し、分類学を提案し、代表作の詳細を紹介し、今後の展望について論じる。
  論文  参考訳（メタデータ） (2024-02-01T02:44:32Z)
• Towards Data-centric Graph Machine Learning: Review and Outlook [120.64417630324378]
  データ中心グラフ機械学習(DC-GML)という,グラフデータライフサイクルのすべての段階を包含する体系的なフレームワークを導入する。 各段階の完全な分類法が示され、3つの重要なグラフ中心の質問に答える。 我々は、DC-GMLドメインの将来展望を指摘し、その進歩と応用をナビゲートするための洞察を提供する。
  論文  参考訳（メタデータ） (2023-09-20T00:40:13Z)
• Graph-based Knowledge Distillation: A survey and experimental evaluation [4.713436329217004]
  既存のグラフニューラルネットワーク(GNN)を強化するために知識蒸留(KD)が導入されている。 KDは、予測性能を維持しながら、大きな教師モデルのソフトレーベルの監督を小学生モデルに移行することを含む。 本稿ではまず,グラフとKDの背景について紹介し,その上で3種類の知識蒸留法について概説する。
  論文  参考訳（メタデータ） (2023-02-27T11:39:23Z)
• A Comprehensive Survey on Graph Summarization with Graph Neural Networks [21.337505372979066]
  過去には、グラフの最も重要な部分を統計的に捉えるために、ほとんどのグラフ要約技術が試みられていた。 今日では、現代のグラフデータの高次元性と複雑さにより、ディープラーニング技術がより普及している。 我々の調査は、GNN、畳み込みGNN、グラフオートエンコーダ、グラフアテンションネットワークなど、現在の最先端アプローチのレビューを含む。
  論文  参考訳（メタデータ） (2023-02-13T05:43:24Z)
• A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic, and Multimodal [57.8455911689554]
  知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。 質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
  論文  参考訳（メタデータ） (2022-12-12T08:40:04Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
  まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。 DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
  論文  参考訳（メタデータ） (2022-02-16T18:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。