論文の概要: Toward Fair Graph Neural Networks Via Dual-Teacher Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2412.00382v1
• Date: Sat, 30 Nov 2024 07:19:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:51.166084
• Title: Toward Fair Graph Neural Networks Via Dual-Teacher Knowledge Distillation
• Title（参考訳）: デュアル教師の知識蒸留による公正なグラフニューラルネットワークの実現に向けて
• Authors: Chengyu Li, Debo Cheng, Guixian Zhang, Yi Li, Shichao Zhang,
• Abstract要約: このFairDTDはDual-Teacher Distillation上に構築された新しいFair表現学習フレームワークである。 また,FairDTDは高モデルユーティリティを保ちながら最適な公正性を実現し,その有効性をGNNの公正表現学習で示している。
• 参考スコア（独自算出の注目度）: 10.253384447622992
• License:
• Abstract: Graph Neural Networks (GNNs) have demonstrated strong performance in graph representation learning across various real-world applications. However, they often produce biased predictions caused by sensitive attributes, such as religion or gender, an issue that has been largely overlooked in existing methods. Recently, numerous studies have focused on reducing biases in GNNs. However, these approaches often rely on training with partial data (e.g., using either node features or graph structure alone), which can enhance fairness but frequently compromises model utility due to the limited utilization of available graph information. To address this tradeoff, we propose an effective strategy to balance fairness and utility in knowledge distillation. Specifically, we introduce FairDTD, a novel Fair representation learning framework built on Dual-Teacher Distillation, leveraging a causal graph model to guide and optimize the design of the distillation process. Specifically, FairDTD employs two fairness-oriented teacher models: a feature teacher and a structure teacher, to facilitate dual distillation, with the student model learning fairness knowledge from the teachers while also leveraging full data to mitigate utility loss. To enhance information transfer, we incorporate graph-level distillation to provide an indirect supplement of graph information during training, as well as a node-specific temperature module to improve the comprehensive transfer of fair knowledge. Experiments on diverse benchmark datasets demonstrate that FairDTD achieves optimal fairness while preserving high model utility, showcasing its effectiveness in fair representation learning for GNNs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,様々な実世界のアプリケーションを対象としたグラフ表現学習において,強力な性能を示している。 しかし、宗教や性別などのセンシティブな属性によって生じる偏見のある予測をしばしば生み出すが、これは既存の方法ではほとんど見落とされた問題である。 近年、多くの研究がGNNのバイアスを減らすことに重点を置いている。 しかし、これらのアプローチは部分的なデータ(例えば、ノードの特徴またはグラフ構造のみを使用する)によるトレーニングに頼っていることが多いため、公正性を高めることができるが、利用可能なグラフ情報の利用が限られているため、しばしばモデルの有用性を損なう。 このトレードオフに対処するため,本研究では,知識蒸留における公平性と有用性のバランスをとるための効果的な戦略を提案する。 具体的には,FairDTDについて紹介する。このFairDTDはDual-Teacher Distillation上に構築された新しいFair表現学習フレームワークであり,因果グラフモデルを利用して蒸留プロセスの設計をガイドし,最適化する。 具体的には、FairDTDは、機能教師と構造教師の2つのフェアネス指向の教師モデルを用いて、二重蒸留を促進する。 情報伝達を向上させるため,訓練中のグラフ情報の間接的サプリメントを提供するため,グラフレベルの蒸留とノード固有の温度モジュールを併用し,公正な知識の包括的伝達を改善する。 多様なベンチマークデータセットの実験により、FairDTDは高モデルユーティリティを保ちながら最適な公正性を達成し、GNNの公正表現学習におけるその有効性を示す。

関連論文リスト

• Frameless Graph Knowledge Distillation [27.831929635701886]
  教師が提供したグラフ知識は,代数と幾何学の両方を通して学生モデルによって学習され,消化されるかを示す。 提案モデルでは,推論の高速化を維持しながら,教師モデルと同一あるいはそれ以上の学習精度を生成できる。
  論文  参考訳（メタデータ） (2023-07-13T08:56:50Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Fair Node Representation Learning via Adaptive Data Augmentation [9.492903649862761]
  この研究は、グラフニューラルネットワーク(GNN)を用いて得られるノード表現のバイアス源を理論的に説明する。 この分析に基づいて、本質的なバイアスを低減するために、公正に意識したデータ拡張フレームワークを開発した。 分析と提案手法は,様々なGNN学習機構の公平性を高めるために容易に利用できる。
  論文  参考訳（メタデータ） (2022-01-21T05:49:15Z)
• Iterative Graph Self-Distillation [161.04351580382078]
  我々は、IGSD(Iterative Graph Self-Distillation)と呼ばれる新しい教師なしグラフ学習パラダイムを提案する。 IGSDは、グラフ拡張による教師/学生の蒸留を反復的に行う。 我々は,教師なしと半教師なしの両方の設定において,さまざまなグラフデータセットに対して,有意かつ一貫したパフォーマンス向上を実現していることを示す。
  論文  参考訳（メタデータ） (2020-10-23T18:37:06Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。