論文の概要: RELIANT: Fair Knowledge Distillation for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2301.01150v1
• Date: Tue, 3 Jan 2023 15:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 15:26:36.065271
• Title: RELIANT: Fair Knowledge Distillation for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのための公正な知識蒸留
• Authors: Yushun Dong, Binchi Zhang, Yiling Yuan, Na Zou, Qi Wang, Jundong Li
• Abstract要約: グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクのパフォーマンスを満足することを示した。 知識蒸留(KD)はGNNを圧縮する一般的な方法である。 本稿では,学生モデルが提示するバイアスを軽減するために,RELIANTという原理的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 39.22568244059485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have shown satisfying performance on various graph learning tasks. To achieve better fitting capability, most GNNs are with a large number of parameters, which makes these GNNs computationally expensive. Therefore, it is difficult to deploy them onto edge devices with scarce computational resources, e.g., mobile phones and wearable smart devices. Knowledge Distillation (KD) is a common solution to compress GNNs, where a light-weighted model (i.e., the student model) is encouraged to mimic the behavior of a computationally expensive GNN (i.e., the teacher GNN model). Nevertheless, most existing GNN-based KD methods lack fairness consideration. As a consequence, the student model usually inherits and even exaggerates the bias from the teacher GNN. To handle such a problem, we take initial steps towards fair knowledge distillation for GNNs. Specifically, we first formulate a novel problem of fair knowledge distillation for GNN-based teacher-student frameworks. Then we propose a principled framework named RELIANT to mitigate the bias exhibited by the student model. Notably, the design of RELIANT is decoupled from any specific teacher and student model structures, and thus can be easily adapted to various GNN-based KD frameworks. We perform extensive experiments on multiple real-world datasets, which corroborates that RELIANT achieves less biased GNN knowledge distillation while maintaining high prediction utility.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクのパフォーマンスを満足している。 適合性を向上するために、ほとんどのGNNは多数のパラメータを持ち、これらのGNNは計算コストがかかる。 そのため、携帯電話やウェアラブルスマートデバイスなど、計算資源の少ないエッジデバイスにデプロイすることは困難である。 知識蒸留(KD)はGNNを圧縮するための一般的な解であり、軽量モデル(学生モデル)は計算コストの高いGNN(教師GNNモデル)の振る舞いを模倣するよう奨励される。 しかしながら、既存のほとんどのGNNベースのKD手法は公平性を考慮していない。 結果として、学生モデルは通常、教師のGNNからの偏見を継承し、誇張する。 このような問題に対処するため、我々はGNNの公正な知識蒸留に向けて最初の一歩を踏み出した。 具体的には,まず,gnn を基盤とした教師教育枠組みにおける公平な知識蒸留の新たな課題を定式化する。 次に,学生モデルが提示するバイアスを軽減するために,RELIANTというフレームワークを提案する。 特に、RELIANTの設計は特定の教師や学生のモデル構造から切り離され、様々なGNNベースのKDフレームワークに容易に適応できる。 我々は,複数の実世界のデータセットについて広範な実験を行い,高い予測能力を維持しつつ,依存度の低いgnn知識蒸留を実現することを裏付ける。

関連論文リスト

• IDEA: A Flexible Framework of Certified Unlearning for Graph Neural Networks [68.6374698896505]
  グラフニューラルネットワーク(GNN)は、ますます多くのアプリケーションにデプロイされている。 トレーニングされたGNNがデプロイされ、潜在的攻撃者に対して公開されると、プライバシリークが発生する可能性がある。 我々は,GNNのための柔軟で認定されたアンラーニングを実現するために,IDEAというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-28T04:59:59Z)
• A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
  本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
  論文  参考訳（メタデータ） (2024-03-06T05:52:13Z)
• ELEGANT: Certified Defense on the Fairness of Graph Neural Networks [94.10433608311604]
  グラフニューラルネットワーク(GNN)は,グラフベースのタスクにおいて,目立ったグラフ学習モデルとして登場した。 悪意のある攻撃者は、入力グラフデータに摂動を追加することで、予測の公平度を容易に損なうことができる。 本稿では, ELEGANT というフレームワークを提案し, GNN の公正度レベルにおける認証防御の新たな課題について検討する。
  論文  参考訳（メタデータ） (2023-11-05T20:29:40Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Boosting Graph Neural Networks via Adaptive Knowledge Distillation [18.651451228086643]
  グラフニューラルネットワーク(GNN)は、多様なグラフマイニングタスクにおいて顕著なパフォーマンスを示している。 知識蒸留(KD)は、複数のモデルからの多様な知識を組み合わせるために開発された。 我々は,複数のGNNから学生GNNに情報を逐次転送する,BGNNと呼ばれる新しい適応型KDフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-12T04:48:50Z)
• EDITS: Modeling and Mitigating Data Bias for Graph Neural Networks [29.974829042502375]
  本研究では,属性ネットワークのバイアスを軽減するためのフレームワーク EDITS を開発した。 EDITSはモデルに依存しない方法で動作し、ダウンストリームタスクに適用される特定のGNNとは独立している。
  論文  参考訳（メタデータ） (2021-08-11T14:07:01Z)
• AKE-GNN: Effective Graph Learning with Adaptive Knowledge Exchange [14.919474099848816]
  グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクで広く使われている。 近年の研究では、十分に訓練されたGNNにおける学習重量(チャネル)が非常に冗長であり、GNNの性能が制限されていることが明らかになっている。 本稿では,Aaptive Knowledge Exchange 戦略を実行する新しい GNN 学習フレームワーク AKE-GNN を紹介する。
  論文  参考訳（メタデータ） (2021-06-10T02:00:26Z)
• Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
  グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。 グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。 グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
  論文  参考訳（メタデータ） (2021-05-16T21:38:24Z)
• FedGraphNN: A Federated Learning System and Benchmark for Graph Neural Networks [68.64678614325193]
  グラフニューラルネットワーク(GNN)の研究は、グラフ構造データから表現を学ぶGNNの能力のおかげで急速に成長しています。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 GNNベースのFL研究を促進するためのオープンリサーチフェデレーション学習システムとベンチマークであるFedGraphNNを紹介します。
  論文  参考訳（メタデータ） (2021-04-14T22:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。