論文の概要: LinGCN: Structural Linearized Graph Convolutional Network for
Homomorphically Encrypted Inference
- arxiv url: http://arxiv.org/abs/2309.14331v1
- Date: Mon, 25 Sep 2023 17:56:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 12:36:16.179713
- Title: LinGCN: Structural Linearized Graph Convolutional Network for
Homomorphically Encrypted Inference
- Title（参考訳）: LinGCN: 同型暗号化推論のための構造線形グラフ畳み込みネットワーク
- Authors: Hongwu Peng and Ran Ran and Yukui Luo and Jiahui Zhao and Shaoyi Huang
and Kiran Thorat and Tong Geng and Chenghong Wang and Xiaolin Xu and Wujie
Wen and Caiwen Ding
- Abstract要約: 本稿では,乗算深度を低減し,HEに基づくGCN推論の性能を最適化するLinGCNを提案する。
注目すべきは、LinGCNはCryptoGCNと比較して14.2倍のレイテンシ向上を実現し、推論精度は75%、乗算深度は顕著に減少することである。
- 参考スコア（独自算出の注目度）: 19.5669231249754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growth of Graph Convolution Network (GCN) model sizes has revolutionized
numerous applications, surpassing human performance in areas such as personal
healthcare and financial systems. The deployment of GCNs in the cloud raises
privacy concerns due to potential adversarial attacks on client data. To
address security concerns, Privacy-Preserving Machine Learning (PPML) using
Homomorphic Encryption (HE) secures sensitive client data. However, it
introduces substantial computational overhead in practical applications. To
tackle those challenges, we present LinGCN, a framework designed to reduce
multiplication depth and optimize the performance of HE based GCN inference.
LinGCN is structured around three key elements: (1) A differentiable structural
linearization algorithm, complemented by a parameterized discrete indicator
function, co-trained with model weights to meet the optimization goal. This
strategy promotes fine-grained node-level non-linear location selection,
resulting in a model with minimized multiplication depth. (2) A compact
node-wise polynomial replacement policy with a second-order trainable
activation function, steered towards superior convergence by a two-level
distillation approach from an all-ReLU based teacher model. (3) an enhanced HE
solution that enables finer-grained operator fusion for node-wise activation
functions, further reducing multiplication level consumption in HE-based
inference. Our experiments on the NTU-XVIEW skeleton joint dataset reveal that
LinGCN excels in latency, accuracy, and scalability for homomorphically
encrypted inference, outperforming solutions such as CryptoGCN. Remarkably,
LinGCN achieves a 14.2x latency speedup relative to CryptoGCN, while preserving
an inference accuracy of 75% and notably reducing multiplication depth.
- Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)モデルのサイズの成長は、パーソナルヘルスケアや金融システムといった分野における人的パフォーマンスを上回る多くのアプリケーションに革命をもたらした。
クラウドへのGCNのデプロイは、クライアントデータに対する潜在的敵攻撃によるプライバシー上の懸念を引き起こす。
セキュリティ問題に対処するため、準同型暗号化(he)を使用したプライバシ保存機械学習(ppml)は、機密性の高いクライアントデータを保護する。
しかし、実用的なアプリケーションでは計算のオーバーヘッドが大幅に増大する。
これらの課題に対処するため,乗算深度を低減し,HEに基づくGCN推論の性能を最適化するLinGCNを提案する。
LinGCNは、(1)パラメータ化離散指標関数を補完する微分可能な構造線形化アルゴリズムで、最適化目標を満たすためにモデルの重みと協調して訓練される。
この戦略は細粒度ノードレベルの非線形位置選択を促進し、最小乗算深さのモデルとなる。
2) 完全ReLU型教師モデルを用いた2段階蒸留法により, 2次学習可能活性化関数を用いたコンパクトなノードワイド多項式置換政策を導出する。
(3)ノードの活性化関数に対するよりきめ細かい演算子融合を可能にする拡張HEソリューションにより、HEベースの推論における乗算レベルの消費を低減できる。
NTU-XVIEWスケルトン共同データセットを用いた実験により,LinGCNは,CryptoGCNなど,同型暗号化推論におけるレイテンシ,精度,スケーラビリティに優れることがわかった。
注目すべきは、LinGCNはCryptoGCNと比較して14.2倍のレイテンシ向上を実現し、推論精度は75%、乗算深度は顕著に減少することである。
関連論文リスト
- Learning to Control the Smoothness of Graph Convolutional Network Features [9.949988676706418]
本稿では,グラフ畳み込みネットワーク(GCN)が所望の滑らかさでノード特徴を学習するための新しい戦略を提案する。
我々はReLUの入力と出力の幾何学的関係を確立する。
幾何学的洞察に基づいて、我々はグラフ畳み込み層のメッセージパッシングプロセスを学習可能な用語で拡張し、ノードの特徴の滑らかさを調節する。
論文 参考訳（メタデータ） (2024-10-18T16:57:27Z) - Scalable Graph Compressed Convolutions [68.85227170390864]
ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。
グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
論文 参考訳（メタデータ） (2024-07-26T03:14:13Z) - Verifying message-passing neural networks via topology-based bounds tightening [3.3267518043390205]
我々は、メッセージパッシングニューラルネットワーク(MPNN)のための堅牢な証明書を提供するための、計算学的に効果的なアプローチを開発する。
私たちの研究は混合整数最適化に基づいており、様々なサブプロブレムをエンコードしています。
ノード分類とグラフ分類の両方の問題を検証し、エッジの追加と削除の両方を行うトポロジ的攻撃について検討する。
論文 参考訳（メタデータ） (2024-02-21T17:05:27Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - Binary Graph Convolutional Network with Capacity Exploration [58.99478502486377]
ネットワークパラメータと入力ノード属性の両方を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均31倍のメモリ消費を削減でき、推論速度を平均51倍に加速できる。
論文 参考訳（メタデータ） (2022-10-24T12:05:17Z) - CryptoGCN: Fast and Scalable Homomorphically Encrypted Graph
Convolutional Network Inference [12.03953896181613]
クラウドベースのグラフ畳み込みネットワーク(GCN)は、多くのプライバシに敏感なアプリケーションで大きな成功と可能性を示している。
クラウド上での推論精度とパフォーマンスは高いが、GCN推論におけるデータのプライバシの維持については、まだ明らかにされていない。
本稿では,この手法を最初に試行し,同型暗号(HE)に基づくGCN推論フレームワークであるtextitCryptoGCN$-を開発する。
論文 参考訳（メタデータ） (2022-09-24T02:20:54Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Edge Rewiring Goes Neural: Boosting Network Resilience via Policy
Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。
ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文 参考訳（メタデータ） (2021-10-18T06:14:28Z) - Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。
一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文 参考訳（メタデータ） (2021-04-12T17:59:16Z) - An Uncoupled Training Architecture for Large Graph Learning [20.784230322205232]
グラフデータをグリッドライクなデータに埋め込むための、柔軟なアンカップリングトレーニングフレームワークであるNode2Gridsを紹介します。
各ノードの影響を次々にランク付けすることで、Node2Gridsは最も影響力のある1階と、中央ノードの融合情報を持つ2階の隣人を選択する。
下流タスクの効率をさらに向上するために、単純なCNNベースのニューラルネットワークを使用して、マッピングされたグリッドのようなデータから重要な情報をキャプチャする。
論文 参考訳（メタデータ） (2020-03-21T11:49:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。