論文の概要: Characterizing Lipschitz Stability of GNN for Fairness

• arxiv url: http://arxiv.org/abs/2309.03648v1
• Date: Thu, 7 Sep 2023 11:29:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 13:17:45.396525
• Title: Characterizing Lipschitz Stability of GNN for Fairness
• Title（参考訳）: フェアネスのためのGNNのリプシッツ安定性のキャラクタリゼーション
• Authors: Yaning Jia, Chunhui Zhang, Jundong Li, Chuxu Zhang
• Abstract要約: グラフニューラルネットワーク(GNN)は、非ユークリッドデータで動作する。 以前の研究では、GNNリプシッツ境界が安定化モデル出力に光を放つことが研究されていない。
• 参考スコア（独自算出の注目度）: 80.13223327728078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Lipschitz bound, a technique from robust statistics, can limit the maximum changes in the output concerning the input, taking into account associated irrelevant biased factors. It is an efficient and provable method for examining the output stability of machine learning models without incurring additional computation costs. Recently, Graph Neural Networks (GNNs), which operate on non-Euclidean data, have gained significant attention. However, no previous research has investigated the GNN Lipschitz bounds to shed light on stabilizing model outputs, especially when working on non-Euclidean data with inherent biases. Given the inherent biases in common graph data used for GNN training, it poses a serious challenge to constraining the GNN output perturbations induced by input biases, thereby safeguarding fairness during training. Recently, despite the Lipschitz constant's use in controlling the stability of Euclideanneural networks, the calculation of the precise Lipschitz constant remains elusive for non-Euclidean neural networks like GNNs, especially within fairness contexts. To narrow this gap, we begin with the general GNNs operating on an attributed graph, and formulate a Lipschitz bound to limit the changes in the output regarding biases associated with the input. Additionally, we theoretically analyze how the Lipschitz constant of a GNN model could constrain the output perturbations induced by biases learned from data for fairness training. We experimentally validate the Lipschitz bound's effectiveness in limiting biases of the model output. Finally, from a training dynamics perspective, we demonstrate why the theoretical Lipschitz bound can effectively guide the GNN training to better trade-off between accuracy and fairness.
• Abstract（参考訳）: 頑健な統計学の手法であるリプシッツ境界は、関連する無関係なバイアス要因を考慮して、入力に関する出力の最大変化を制限することができる。 追加の計算コストを発生させることなく、機械学習モデルの出力安定性を効率よく検証できる手法である。 近年,非ユークリッドデータを扱うグラフニューラルネットワーク (GNN) が注目されている。 しかしながら、gnnリプシッツ境界がモデル出力の安定化に光を当てるかどうか、特に固有のバイアスを持つ非ユークリッドデータを扱う場合の以前の研究は行われていない。 GNNトレーニングに使用される共通グラフデータの固有のバイアスを考えると、入力バイアスによって引き起こされるGNN出力の摂動を制限し、トレーニング中の公正性を保護することが深刻な課題となる。 近年、リプシッツ定数がユークリッド神経回路網の安定性を制御するのに使われているにもかかわらず、正確なリプシッツ定数の計算はGNNのような非ユークリッド神経回路網、特にフェアネスの文脈において解明されている。 このギャップを狭めるために、私たちは、帰属グラフで動作する一般的なgnnから始め、入力に関連するバイアスに関する出力の変化を制限するために束縛されたリプシッツを定式化する。 さらに,gnnモデルのリプシッツ定数が,公平なトレーニングのためにデータから学習したバイアスによって引き起こされる出力摂動をいかに制約するかを理論的に解析した。 モデル出力のバイアスを制限するリプシッツ境界の有効性を実験的に検証した。 最後に、学習力学の観点から、なぜ理論上のリプシッツ境界がGNNトレーニングを効果的にガイドし、精度と公正性のトレードオフを改善することができるのかを示す。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Interpreting Unfairness in Graph Neural Networks via Training Node Attribution [46.384034587689136]
  本稿では,GNNの不公平さを学習ノードの影響によって解釈する新たな問題について検討する。 具体的には,GNNに現れるバイアスを測定するために,確率分布分散(PDD)という新しい手法を提案する。 PDDの有効性と実世界のデータセットを用いた実験による影響評価の有効性を検証する。
  論文  参考訳（メタデータ） (2022-11-25T21:52:30Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Debiased Graph Neural Networks with Agnostic Label Selection Bias [59.61301255860836]
  既存のグラフニューラルネットワーク(GNN)のほとんどは、データの選択バイアスを考慮せずに提案されている。 本稿では,デコリレーションレギュレータを区別した新しいデバイアスドグラフニューラルネットワーク(DGNN)を提案する。 DGNNは既存のGNNを強化するフレキシブルなフレームワークである。
  論文  参考訳（メタデータ） (2022-01-19T16:50:29Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
  ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。 提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
  論文  参考訳（メタデータ） (2021-03-23T13:29:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。