論文の概要、ライセンス

# (参考訳) 時空間データモデリングのためのクロスノードフェデレーショングラフニューラルネットワーク [全文訳有]

Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling ( http://arxiv.org/abs/2106.05223v1 )

ライセンス: CC BY 4.0
Chuizheng Meng, Sirisha Rambhatla, Yan Liu(参考訳) センサー、ウェアラブル、IoT(Internet of Things)デバイスのネットワークから生成される膨大な量のデータは、エッジ計算とライセンシング(データアクセス)の問題のため、分散データの時空間構造を活用する高度なモデリング技術の必要性を強調している。 連立学習(FL)は直接的なデータ共有や交換を必要とせずにモデルトレーニングのフレームワークとして登場したが、予測能力を改善するために複雑な時空間依存関係を効果的にモデル化することは依然として未解決の問題である。 一方で、最先端の時空間予測モデルでは、データ共有の制約を無視して、データへの非破壊的なアクセスを想定している。 このギャップを埋めるために、クロスノードフェデレーショングラフニューラルネットワーク(CNFGNN)というフェデレーション時空間モデルを提案し、グラフニューラルネットワーク(GNN)ベースのアーキテクチャをノード間のフェデレーション学習の制約の下で明示的に符号化し、ノードのネットワーク内のデータが各ノード上でローカルに生成され、分散化され続ける。 cnfgnnは、デバイス上の時間的ダイナミクスモデリングとサーバ上の空間的ダイナミクスを分離して動作し、交互最適化を利用して通信コストを削減し、エッジデバイスでの計算を容易にする。 トラヒックフロー予測タスクの実験から,CNFGNNはエッジデバイスに余分な計算コストを伴わずに,トランスダクティブとインダクティブの両方の学習環境で最高の予測性能を達成し,通信コストを抑えた。

Vast amount of data generated from networks of sensors, wearables, and the Internet of Things (IoT) devices underscores the need for advanced modeling techniques that leverage the spatio-temporal structure of decentralized data due to the need for edge computation and licensing (data access) issues. While federated learning (FL) has emerged as a framework for model training without requiring direct data sharing and exchange, effectively modeling the complex spatio-temporal dependencies to improve forecasting capabilities still remains an open problem. On the other hand, state-of-the-art spatio-temporal forecasting models assume unfettered access to the data, neglecting constraints on data sharing. To bridge this gap, we propose a federated spatio-temporal model -- Cross-Node Federated Graph Neural Network (CNFGNN) -- which explicitly encodes the underlying graph structure using graph neural network (GNN)-based architecture under the constraint of cross-node federated learning, which requires that data in a network of nodes is generated locally on each node and remains decentralized. CNFGNN operates by disentangling the temporal dynamics modeling on devices and spatial dynamics on the server, utilizing alternating optimization to reduce the communication cost, facilitating computations on the edge devices. Experiments on the traffic flow forecasting task show that CNFGNN achieves the best forecasting performance in both transductive and inductive learning settings with no extra computation cost on edge devices, while incurring modest communication cost.
公開日: Wed, 9 Jun 2021 17:12:43 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Cross-Node Federated Graph Neural Network for ノード間フェデレーショングラフニューラルネットワーク 0.70
Spatio-Temporal Data Modeling 時空間データモデリング 0.73
Chuizheng Meng Chuizheng (複数形 Chuizhengs) 0.34
University of Southern California 南カリフォルニア大学 0.63
Los Angeles, California, USA ロサンゼルス、カリフォルニア、アメリカ 0.66
chuizhem@usc.edu chuizhem@usc.edu 0.78
Sirisha Rambhatla sirisha rambhatla氏 0.71
University of Southern California 南カリフォルニア大学 0.63
Los Angeles, California, USA ロサンゼルス、カリフォルニア、アメリカ 0.66
sirishar@usc.edu sirishar@usc.edu 0.78
Yan Liu University of Southern California ヤン・リュー 南カリフォルニア大学 0.54
Los Angeles, California, USA ロサンゼルス、カリフォルニア、アメリカ 0.66
yanliu.cs@usc.edu yanliu.cs@usc.edu 0.59
1 2 0 2 n u J 1 2 0 2 n u J 0.85
9 ] G L . 9 ] G L。 0.81
s c [ 1 v 3 2 2 5 0 sc [ 1 v 3 2 2 5 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
ABSTRACT Vast amount of data generated from networks of sensors, wearables, and the Internet of Things (IoT) devices underscores the need for advanced modeling techniques that leverage the spatio-temporal structure of decentralized data due to the need for edge computation and licensing (data access) issues. ABSTRACT センサー、ウェアラブル、IoT(Internet of Things)デバイスのネットワークから生成された膨大な量のデータは、エッジ計算とライセンシング(データアクセス)の問題のために分散データの時空間構造を活用する高度なモデリング技術の必要性を浮き彫りにしている。 0.81
While federated learning (FL) has emerged as a framework for model training without requiring direct data sharing and exchange, effectively modeling the complex spatio-temporal dependencies to improve forecasting capabilities still remains an open problem. 連立学習(FL)は直接的なデータ共有や交換を必要とせずにモデルトレーニングのフレームワークとして登場したが、予測能力を改善するために複雑な時空間依存関係を効果的にモデル化することは依然として未解決の問題である。
訳抜け防止モード: 連立学習(FL)は直接的なデータ共有や交換を必要としないモデルトレーニングのフレームワークとして登場した。 予測能力を改善するために複雑な空間-時間的依存関係を効果的にモデル化する まだ未解決の問題だ
0.67
On the other hand, state-of-the-art spatio-temporal forecasting models assume unfettered access to the data, neglecting constraints on data sharing. 一方で、最先端の時空間予測モデルでは、データ共有の制約を無視して、データへの非破壊的なアクセスを想定している。 0.53
To bridge this gap, we propose a federated spatio-temporal model – Cross-Node Federated Graph Neural Network (CNFGNN) – which explicitly encodes the underlying graph structure using graph neural network (GNN)-based architecture under the constraint of cross-node federated learning, which requires that data in a network of nodes is generated locally on each node and remains decentralized. このギャップを埋めるために、クロスノードフェデレーショングラフニューラルネットワーク(CNFGNN)というフェデレーション時空間モデルを提案し、グラフニューラルネットワーク(GNN)ベースのアーキテクチャをノード間フェデレーション学習の制約の下で明示的に符号化し、ノードのネットワーク内のデータが各ノード上でローカルに生成され、分散化され続ける。 0.81
CNFGNN operates by disentangling the temporal dynamics modeling on devices and spatial dynamics on the server, utilizing alternating optimization to reduce the communication cost, facilitating computations on the edge devices. cnfgnnは、デバイス上の時間的ダイナミクスモデリングとサーバ上の空間的ダイナミクスを分離して動作し、交互最適化を利用して通信コストを削減し、エッジデバイスでの計算を容易にする。 0.56
Experiments on the traffic flow forecasting task show that CNFGNN achieves the best forecasting performance in both transductive and inductive learning settings with no extra computation cost on edge devices, while incurring modest communication cost. トラヒックフロー予測タスクの実験から,CNFGNNはエッジデバイスに余分な計算コストを伴わずに,トランスダクティブとインダクティブの両方の学習環境で最高の予測性能を達成し,通信コストを抑えた。 0.79
CCS CONCEPTS • Information systems → Sensor networks; Data mining; • Computing methodologies → Neural networks. ccsの概念 • 情報システム → センサネットワーク; データマイニング; • 計算方法論 → ニューラルネットワーク。 0.81
KEYWORDS Federated Learning; Graph Neural Network; Spatio-Temporal Data Modeling KEYWORDSフェデレーションラーニング; グラフニューラルネットワーク; 時空間データモデリング 0.79
ACM Reference Format: Chuizheng Meng, Sirisha Rambhatla, and Yan Liu. ACM参照フォーマット: Chuizheng Meng、Sirisha Rambhatla、Yan Liu。 0.68
2021. Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling. 2021. 時空間データモデリングのためのクロスノードフェデレーショングラフニューラルネットワーク 0.75
In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and 第27回 acm sigkdd conference on knowledge discovery and in the 27th acm sigkdd conference 0.66
Permission to make digital or hard copies of part or all of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. デジタル又はハード又はこの作品の一部又は全部を個人または教室で使用するための許可は、その複製が利益または商業上の利益のために作成、配布されず、かつ、この通知と第1ページの全引用を添付して、手数料なしで与えられる。
訳抜け防止モード: この作品の一部又は全部のデジタル又はハードコピーを個人または教室での使用許可 手数料なしで与えられます 利益や商業上の利益のためにコピーは作られない そのコピーには この通知と 最初のページの全文が書かれています
0.84
Copyrights for third-party components of this work must be honored. この作品のサードパーティコンポーネントの著作権を尊重しなければならない。 0.59
For all other uses, contact the owner/author(s). 他のすべての用途について、オーナー/著者に連絡してください。 0.47
KDD ’21, August 14–18, 2021, Virtual Event, Singapore © 2021 Copyright held by the owner/author(s). KDD ’21, August 14–18, 2021, Virtual Event, Singapore > 2021 Copyright held by the owner/author(s)。 0.91
ACM ISBN 978-1-4503-8332-5/21 /08. ACM ISBN 978-1-4503-8332-5/21 /08 0.35
https://doi.org/10.1 145/3447548.3467371 https://doi.org/10.1 145/3447548.3467371 0.29
Data Mining (KDD ’21), August 14–18, 2021, Virtual Event, Singapore. データマイニング(KDD ’21, August 14–18, 2021, Virtual Event, Singapore)。 0.85
ACM, New York, NY, USA, 10 pages. ACM, New York, NY, USA, 10ページ。 0.80
https://doi.org/10.1 145/3447548.3467371 https://doi.org/10.1 145/3447548.3467371 0.29
1 INTRODUCTION Modeling the dynamics of spatio-temporal data generated from networks of edge devices or nodes (e g sensors, wearable devices and the Internet of Things (IoT) devices) is critical for various applications including traffic flow prediction [18, 32], forecasting [4, 24], and user activity detection [20, 29]. 1. エッジデバイスやノード(例えばセンサ,ウェアラブルデバイス,モノのインターネット(IoT)デバイス)のネットワークから生成された時空間データのダイナミクスをモデル化することは,トラフィックフロー予測[18,32],予測[4,24],ユーザアクティビティ検出[20,29]など,さまざまなアプリケーションにとって極めて重要である。 0.86
While existing works on spatiotemporal dynamics modeling [5, 6, 14] assume that the model is trained with centralized data gathered from all devices, the volume of data generated at these edge devices precludes the use of such centralized data processing, and calls for decentralized processing where computations on the edge can lead to significant gains in improving the latency. 既存の時空間力学モデリング [5, 6, 14] では、モデルが全デバイスから収集された集中データで訓練されていると仮定する一方で、これらのエッジデバイスで生成されたデータの量は、そのような集中データ処理の使用を妨げ、エッジ上の計算が遅延改善に大きく寄与する分散処理を要求する。 0.80
In addition, in case of spatio-temporal forecasting, the edge devices need to leverage the complex interdependencies to improve the prediction performance. さらに、時空間予測の場合、エッジデバイスは複雑な相互依存性を利用して予測性能を向上させる必要がある。 0.67
Moreover, with increasing concerns about data privacy and its access restrictions due to existing licensing agreements, it is critical for spatiotemporal modeling to utilize decentralized data, yet leveraging the underlying relationships for improved performance. さらに,データプライバシや既存のライセンス契約によるアクセス制限に対する懸念が高まる中で,分散データを活用する時空間モデリングが重要であり,その基盤となる関係を利用してパフォーマンスを向上させる。 0.77
Although recent works in federated learning (FL) [12] provides a solution for training a model with decentralized data on multiple devices, these works either do not consider the inherent spatiotemporal dependencies [13, 17, 21] or only model it implicitly by imposing the graph structure in the regularization on model weights [26], the latter of which suffers from the limitation of regularization based methods due to the assumption that graphs only encode similarity of nodes [15], and cannot operate in settings where only a fraction of devices are observed during training (inductive learning setting). Although recent works in federated learning (FL) [12] provides a solution for training a model with decentralized data on multiple devices, these works either do not consider the inherent spatiotemporal dependencies [13, 17, 21] or only model it implicitly by imposing the graph structure in the regularization on model weights [26], the latter of which suffers from the limitation of regularization based methods due to the assumption that graphs only encode similarity of nodes [15], and cannot operate in settings where only a fraction of devices are observed during training (inductive learning setting). 0.83
As a result, there is a need for an architecture for spatio-temporal data modeling which enables reliable computation on the edge, while maintaining the data decentralized. その結果、データの分散性を維持しつつ、エッジ上で信頼できる計算を可能にする時空間データモデリングのアーキテクチャが必要となる。 0.79
To this end, leveraging recent works on federated learning [12], we introduce the cross-node federated learning requirement to ensure that data generated locally at a node remains decentralized. この目的のために,近年のフェデレーション学習 [12] を活用したクロスノードフェデレーション学習要件を導入し,ノードでローカルに生成されたデータが分散されていることを保証する。 0.66
Specifically, our architecture – Cross-Node Federated Graph Neural Network (CNFGNN), aims to effectively model the complex spatiotemporal dependencies under the cross-node federated learning constraint. 具体的には、クロスノードフェデレーショングラフニューラルネットワーク(CNFGNN)は、クロスノードフェデレーション学習制約の下で複雑な時空間依存性を効果的にモデル化することを目的としている。 0.67
For this, CNFGNN decomposes the modeling of temporal and spatial dependencies using an encoder-decoder model on each device to extract the temporal features with local data, and a Graph Neural Network (GNN) based model on the server to capture spatial dependencies among devices. このために、CNFGNNは、各デバイス上のエンコーダデコーダモデルを用いて時間的および空間的依存関係のモデリングを分解し、ローカルデータで時間的特徴を抽出し、サーバ上のグラフニューラルネットワーク(GNN)ベースのモデルを使用してデバイス間の空間的依存関係をキャプチャする。
訳抜け防止モード: このため、CNFGNNは各デバイス上のエンコーダ-デコーダモデルを用いて時間的および空間的依存関係のモデリングを分解する。 時間的特徴をローカルデータで抽出します サーバ上のグラフニューラルネットワーク(GNN)モデル デバイス間の空間的依存を捉えます
0.90
As compared to existing federated learning techniques that rely on regularization to incorporate spatial relationships, CNFGNN leverages an explicit graph structure using a graph neural CNFGNNは、空間関係を組み込むために正規化に依存する既存のフェデレーション学習技術と比較して、グラフニューラルを用いた明示的なグラフ構造を利用する。
訳抜け防止モード: 空間的関係を組み込むために正規化に依存する既存の連合学習技術と比較する。 CNFGNNはグラフニューラルを用いた明示的なグラフ構造を利用する
0.76
英語(論文から抽出)日本語訳スコア
network-based (GNNs) architecture, which leads to performance gains. ネットワークベース(GNN)アーキテクチャにより、パフォーマンスが向上する。 0.83
However, the federated learning (data sharing) constraint means that the GNN cannot be trained in a centralized manner, since each node can only access the data stored on itself. しかしながら、フェデレートドラーニング(データ共有)の制約は、各ノードが自身に格納されているデータにのみアクセスできるため、GNNを集中的にトレーニングすることはできないことを意味する。 0.75
To address this, CNFGNN employs Split Learning [25] to train the spatial and temporal modules. これを解決するため、CNFGNNは空間的および時間的モジュールのトレーニングにSplit Learning[25]を使用している。 0.68
Further, to alleviate the associated high communication cost incurred by Split Learning, we propose an alternating optimization-based training procedure of these modules, which incurs only half the communication overhead as compared to a comparable Split Learning architecture. さらに,スプリットラーニングによる通信コストの低減を図るため,これらのモジュールの最適化に基づく学習手順を提案し,通信オーバーヘッドの半減を同等のスプリットラーニングアーキテクチャと比較した。 0.77
Here, we also use Federated Averaging (FedAvg) [21] to train a shared temporal feature extractor for all nodes, which leads to improved empirical performance. ここでは,federated averaging (fedavg) [21] を用いて全ノードの共有時間特徴抽出器のトレーニングを行い,経験的性能の向上に繋がる。 0.71
Our main contributions are as follows : (1) We propose Cross-Node Federated Graph Neural Network (CN- 1)クロスノードフェデレーショングラフニューラルネットワーク(CN)を提案する。 0.35
FGNN), a GNN-based federated learning architecture that captures complex spatio-temporal relationships among multiple nodes while ensuring that the data generated locally remains decentralized at no extra computation cost at the edge devices. FGNNはGNNベースのフェデレーション学習アーキテクチャで、複数のノード間の複雑な時空間関係をキャプチャし、ローカルに生成されたデータがエッジデバイスで余分な計算コストなしで分散化されることを保証する。 0.66
(2) Our modeling and training procedure enables GNN-based architectures to be used in federated learning settings. 2) モデリングとトレーニングにより,GNN ベースのアーキテクチャを連携学習環境に利用することができる。 0.78
We achieve this by disentangling the modeling of local temporal dynamics on edge devices and spatial dynamics on the central server, and leverage an alternating optimization-based procedure for updating the spatial and temporal modules using Split Learning and Federated Averaging to enable effective GNN-based federated learning. 本研究では、エッジデバイス上の局所時間ダイナミクスと中央サーバ上の空間ダイナミクスのモデリングを分離し、Split LearningとFederated Averagingを用いて空間的および時間的モジュールを更新するための交互最適化ベースの手順を利用して、効果的なGNNベースのフェデレーション学習を実現する。 0.75
(3) We demonstrate that CNFGNN achieves the best prediction performance (both in transductive and inductive settings) at no extra computation cost on edge devices with modest communication cost, as compared to the related techniques on a traffic flow prediction task. 3)cnfgnnは,トラヒックフロー予測タスクにおける関連する手法と比較して,エッジデバイス上での計算コストを控えめに抑えることなく,最高の予測性能(トランスダクティブとインダクティブの両方において)を達成できることを実証する。 0.77
2 RELATED WORKS Our method derives elements from graph neural networks, federated learning and privacy-preserving graph learning, we now discuss related works in these areas in relation to our work. 2 RELATED WORKS 我々の手法は, グラフニューラルネットワーク, フェデレーション学習, プライバシ保護グラフ学習から派生した手法である。
訳抜け防止モード: 2 関連WORKS グラフニューラルネットワーク,フェデレーション学習,プライバシから要素を導出する手法 グラフ学習を保ちます 現在 これらの分野での 関連する研究について 議論しています
0.77
Graph Neural Networks (GNNs). グラフニューラルネットワーク(GNN)。 0.72
GNNs have shown their superior performance on various learning tasks with graph-structured data, including graph embedding [8], node classification [15], spatiotemporal data modeling [18, 29, 32] and multi-agent trajectory prediction [5, 14, 16]. gnnはグラフ埋め込み [8],ノード分類 [15],時空間データモデリング [18,29,32],マルチエージェント軌道予測 [5,14,16] など,グラフ構造化データを用いたさまざまな学習タスクにおいて優れた性能を示している。 0.90
Recent GNN models [8, 10, 30, 31] also have sampling strategies and are able to scale on large graphs. 最近のGNNモデル [8, 10, 30, 31] もサンプリング戦略を持ち、大きなグラフ上でスケールすることができる。 0.79
While GNNs enjoy the benefit from strong inductive bias [6, 28], most works require centralized data during the training and the inference processes. GNNは強い帰納バイアス [6, 28] の恩恵を受けるが、ほとんどの研究はトレーニングと推論プロセスの間に集中的なデータを必要とする。 0.64
Federated Learning (FL).. Federated learning is a machine learning setting where multiple clients train a model in collaboration with decentralized training data [12]. フェデレーション学習 (federated learning, fl.) は,複数のクライアントが分散トレーニングデータと協調してモデルをトレーニングする,マシンラーニングのセットである [12]。 0.79
It requires that the raw data of each client is stored locally without any exchange or transfer. 各クライアントの生データは、交換や転送なしにローカルに保存される必要がある。 0.77
However, the decentralized training data comes at the cost of less utilization due to the heterogeneous distributions of data on clients and the lack of information exchange among clients. しかしながら、分散トレーニングデータは、クライアントに対するデータの異種分布と、クライアント間の情報交換の欠如により、使用率を低下させるコストが伴う。 0.79
Various optimization algorithms have been developed for federated learning 連合学習のための様々な最適化アルゴリズムが開発されている 0.61
on non-IID and unbalanced data [13, 17, 21]. 非IIDおよび非平衡データ[13, 17, 21]について。 0.80
[26] propose a multitask learning framework that captures relationships amongst data. [26]データ間の関係を捉えるマルチタスク学習フレームワークを提案する。 0.80
While the above works mitigate the caveat of missing neighbors’ information to some extent, they are not as effective as GNN models and still suffer from the absence of feature exchange and aggregation. 上記の作業は、不足している隣人の情報をある程度緩和するが、GNNモデルほど効果的ではなく、機能交換やアグリゲーションの欠如に悩まされている。 0.61
Alternating Optimization. Alternating optimization is a popular choice in non-convex optimization [1–3, 11]. 代替最適化。 非凸最適化では交互最適化が一般的である[1-3, 11]。 0.70
In the context of Federated Learning, [19] uses alternating optimization for learning a simple global model and reduces the number of communicated parameters, and [9] uses alternating optimization for knowledge distillation from server models to edge models. 連合学習の文脈では、[19]は単純なグローバルモデルを学ぶために交代最適化を使用し、通信パラメータの数を減少させ、[9]はサーバモデルからエッジモデルへの知識蒸留に交代最適化を用いる。 0.78
In our work, we utilize alternating optimization to effectively train on-device modules and the server module jointly, which captures temporal and spatial relationships respectively. 本研究では,デバイス上のモジュールとサーバモジュールを協調して学習し,時間的関係と空間的関係をそれぞれ捉えるために交互最適化を利用する。 0.64
Privacy-Preserving Graph Learning. プライバシ保護グラフ学習。 0.67
[27] and [22] use statistics of graph structures instead of node information exchange and aggregation to avoid the leakage of node information. ノード情報交換や集約の代わりに,[27] と[22] はグラフ構造の統計を使い,ノード情報の漏洩を回避する。 0.86
Recent works have also incorporated graph learning models with privacy-preserving techniques such as Differential Privacy (DP), Secure Multi-Party Computation (MPC) and Homomorphic Encryption (HE). 近年の研究では、差分プライバシー(DP)、セキュアマルチパーティ計算(MPC)、ホモモルフィック暗号化(HE)といったプライバシー保護技術によるグラフ学習モデルも取り入れられている。 0.65
[33] utilize MPC and HE when learning a GNN model for node classification with vertically split data to preserve silo-level privacy instead of node-level privacy. ノードレベルのプライバシではなくサイロレベルのプライバシを保持するために,垂直分割データを用いたノード分類のgnnモデルを学ぶ際に,[33]はmpcとheを利用する。 0.58
[23] preprocesses the input raw data with DP before feeding it into a GNN model. [23]は、GNNモデルに入力する前に、入力された生データをDPで前処理する。 0.63
Composing privacy-preserving techniques for graph learning can help build federated learning systems following the privacy-in-depth principle, wherein the privacy properties degrade as gracefully as possible if one technique fails [12]. グラフ学習のためのプライバシ保存技術を構成することは、プライバシーの深い原則に従ってフェデレーション学習システムを構築するのに役立つ。 0.55
3 CROSS-NODE FEDERATED GRAPH 3クロスノードフェデレーショングラフ 0.63
NEURAL NETWORK ニューラルネットワーク 0.52
3.1 Problem Formulation Given a dataset with a graph G = (V, E), a feature tensor X ∈ R|V|×... and a label tensor Y ∈ R|V|×..., the task is defined on the dataset with X as the input and Y as the prediction target. 3.1 問題定式化 グラフ G = (V, E) と特徴テンソル X ∈ R|V|×... とラベルテンソル Y ∈ R|V|×... のデータセットが与えられたとき、そのタスクは X を入力とし、Y を予測対象とするデータセット上で定義される。 0.73
We consider learning a model under the cross-node federated learning constraint: node feature 𝒙𝑖 = X𝑖,..., node label 𝒚𝑖 = Y𝑖,..., and model output ˆ𝒚𝑖 are only visible to the node 𝑖. ノード特徴 xi = Xi, ..., node label yi = Yi, ..., and model output yi is only visible to the node i。
訳抜け防止モード: クロスノードフェデレーション学習制約下でのモデル学習の検討 : node feature xi = xi, ノードラベル yi = yi , ... , およびモデル出力 syi は、ノード i に対してのみ可視である。
0.78
One typical task that requires the cross-node federated learning constraint is the prediction of spatio-temporal data generated by a network of sensors. クロスノードフェデレーション学習制約を必要とする典型的なタスクは、センサーのネットワークによって生成された時空間データの予測である。 0.70
In such a scenario, V is the set of sensors and E describes relations among sensors (e g 𝑒𝑖 𝑗 ∈ E if and only if the distance between 𝑣𝑖 and 𝑣 𝑗 is below some threshold). そのようなシナリオでは、V はセンサーの集合であり、E はセンサー間の関係を記述する(例えば、vi と v j の間の距離がしきい値以下である場合に限る)。 0.84
The feature tensor 𝒙𝑖 ∈ R𝑚×𝐷 represents the 𝑖-th sensor’s records in the 𝐷-dim space during the past 𝑚 time steps, and the label 𝒚𝑖 ∈ R𝑛×𝐷 represents the 𝑖-th sensor’s records in the future 𝑛 time steps. 特徴テンソル xi ∈ Rm×D は過去 m 時間ステップにおける D-dim 空間における i-th センサの記録を表し、ラベル yi ∈ Rn×D は将来の n 時間ステップにおける i-th センサの記録を表す。 0.86
Since records collected on different sensors owned by different users/organizations may not be allowed to be shared due to the need for edge computation or licensing issues on data access, it is necessary to design an algorithm modeling the spatio-temporal relation without any direct exchange of node-level data. 異なるユーザ/組織が所有する異なるセンサで収集したレコードは、エッジ計算やデータアクセスのライセンスの問題のために共有できないため、ノードレベルのデータを直接交換することなく、時空間関係をモデル化したアルゴリズムを設計する必要がある。 0.81
英語(論文から抽出)日本語訳スコア
Algorithm 1 Training algorithm of CNFGNN on the server side. アルゴリズム1 サーバ側のCNFGNNのトレーニングアルゴリズム。 0.64
(0) 𝐺𝑁 , initial client model (0)GN,初期クライアントモデル 0.78
(0),𝑒𝑛𝑐 𝑐 (0) 𝑐 = { ¯𝜽 (0),𝑒𝑛𝑐 𝑐 (0) 𝑐 = { ¯𝜽 0.84
(0),𝑑𝑒𝑐 , ¯𝜽 𝑐 (0),𝑑𝑒𝑐 , ¯𝜽 𝑐 0.85
}, the maximum number of Input: Initial server-side GN weights 𝜽 weights ¯𝜽 global rounds 𝑅𝑔, the maximum number of client rounds 𝑅𝑐, the maximum number of server rounds 𝑅𝑠, server-side learning rate 𝜂𝑠, client learning rate 𝜂𝑐. 最大数; 最大数 入力:初期サーバ側のgn重み θ 重み θ グローバルラウンド rg,クライアントラウンドの最大数 rc,サーバラウンドの最大数 rs,サーバサイド学習率 ηs,クライアント学習率 ηc。 0.66
Output: Trained server-side GN weights 𝜽 (𝑅𝑔) model weights ¯𝜽 𝑐 Server executes: 1: Initialize server-side GN weights with 𝜽 出力: 訓練されたサーバサイドgn重み θ (rg) モデル重み: 1: サーバサイドgn重みをθで初期化する。 0.76
(𝑅𝑔) 𝐺𝑁 , trained client (Rg)GN、訓練されたクライアント 0.77
(0) 𝐺𝑁 . Initialize client (0) 𝐺𝑁 . 初期化クライアント 0.83
. (0) model weights with ¯𝜽 𝑐 . (0)モデル重みを >θ c で表す 0.80
. . (0) 𝑐 (0) 𝐺,𝑐,𝑖. . . (0) 𝑐 (0) 𝐺,𝑐,𝑖. 0.85
2: for each node 𝑖 ∈ V in parallel do (0) 𝑐,𝑖 = ¯𝜽 3: 2: 各ノード i ∈ v を並列に do (0) c,i = sθ 3: とする。 0.88
Initialize client model 𝜽 Initialize graph encoding on node 𝒉𝐺,𝑐,𝑖 = 𝒉 初期化クライアントモデル θ ノードhG,c,i = h 上のグラフ符号化の初期化 0.76
4: 5: end for 6: for global round 𝑟𝑔 = 1, 2, . 4: 5: end for 6: for global round rg = 1, 2, . 0.85
. . , 𝑅𝑔 do 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: . . , 𝑅𝑔 do 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 0.85
// (1) Federated learning of on-node models. //(1)オンノードモデルのフェデレーション学習。 0.77
for each client 𝑖 ∈ V in parallel do 𝜽𝑐,𝑖 ← ClientUpdate(𝑖, 𝑅𝑐, 𝜂𝑐). 各クライアント i ∈ V in parallel do θc,i > ClientUpdate(i, Rc, ηc) に対して。 0.85
end for (𝑟𝑔) ¯𝜽 for each client 𝑖 ∈ V in parallel do (0) 𝑐,𝑖 = ¯𝜽 それぞれのクライアント i ∈ V に対して (rg) >θ に対して (0) c,i = >θ の終点 0.82
end for // (2) Temporal encoding update. end for // (2) テンポラリエンコーディングのアップデート。 0.78
for each client 𝑖 ∈ V in parallel do 各クライアント i ∈ V に対して、並列do 0.82
𝑐 ←𝑖∈V 𝑁𝑖 Initialize client model: 𝜽 c.i.v.ニ 初期化クライアントモデル:θ 0.59
𝑁 𝜽𝑐,𝑖. (𝑟𝑔) 𝑐 𝑁 𝜽𝑐,𝑖. (𝑟𝑔) 𝑐 0.85
. 17: 18: 19: 20: 21: 22: 23: 24: . 17: 18: 19: 20: 21: 22: 23: 24: 0.85
25: 26: 27: 25: 26: 27: 0.85
28: 29: 30: 31: 32: 28: 29: 30: 31: 32: 0.85
𝒉𝑐,𝑖 ← ClientEncode(𝑖). hc,i は ClientEncode(i) である。 0.66
end for // (3) Split Learning of GN. end for // (3) GNの分割学習。 0.81
Initialize 𝜽 for server round 𝑟𝑠 = 1, 2, . サーバラウンド rs = 1, 2, に対して θ を初期化する。 0.70
. . , 𝑅𝑠 do (𝑟𝑔−1) 𝐺𝑁 . . 、Rs。 (𝑟𝑔−1) 𝐺𝑁 0.81
(𝑟𝑔,0) 𝐺𝑁 = 𝜽 (𝑟𝑔,0) 𝐺𝑁 = 𝜽 0.85
. {𝒉𝐺,𝑐,𝑖|𝑖 ∈ V} ← 𝐺𝑁 ({𝒉𝑐,𝑖|𝑖 ∈ V}; 𝜽 for each client 𝑖 ∈ V in parallel do . {hG,c,i|i ∈ V} > GN ({hc,i|i ∈ V}; θ for each client i ∈ V in parallel do 0.88
ℓ𝑖 ← ClientBackward( ClientBackward (複数形 ClientBackwards) 0.42
(𝑟𝑔,𝑟𝑠−1) 𝐺𝑁 (𝑟𝑔,𝑟𝑠−1) 𝐺𝑁 0.92
). ∇𝒉𝐺,𝑐,𝑖 ∇ ). ∇𝒉𝐺,𝑐,𝑖 ∇ 0.91
𝜽 𝑖,𝒉𝐺,𝑐,𝑖). 𝜽 𝑖,𝒉𝐺,𝑐,𝑖). 0.85
(𝑟𝑔,𝑟𝑠−1) ∇ℎ𝐺,𝑐,𝑖 𝐺 𝑁 (𝑟𝑔,𝑟𝑠−1) ∇ℎ𝐺,𝑐,𝑖 𝐺 𝑁 0.96
ℓ𝑖 ← 𝒉𝐺,𝑐,𝑖.backward( ℓ𝑖). li は hG,c,i.backward( li) である。 0.62
ℓ ←𝑖∈V ∇ (𝑟𝑔,𝑟𝑠−1) 𝐺 𝑁 略称は「v」。 (𝑟𝑔,𝑟𝑠−1) 𝐺 𝑁 0.57
ℓ𝑖. 𝜽 end for ∇ (𝑟𝑔,𝑟𝑠−1) 𝜽 (𝑟𝑔,𝑟𝑠) 𝐺 𝑁 𝐺𝑁 ← 𝜽 𝜽 - 𝜂𝑠∇ ℓ𝑖. 𝜽 end for ∇ (𝑟𝑔,𝑟𝑠−1) 𝜽 (𝑟𝑔,𝑟𝑠) 𝐺 𝑁 𝐺𝑁 ← 𝜽 𝜽 - 𝜂𝑠∇ 0.90
(𝑟𝑔,𝑟𝑠−1) 𝐺𝑁 ℓ. (𝑟𝑔,𝑟𝑠−1) 𝐺𝑁 ℓ. 0.96
(𝑟𝑔,𝑟𝑠−1) 𝐺 𝑁 (𝑟𝑔,𝑟𝑠−1) 𝐺 𝑁 0.94
𝜽 end for (𝑟𝑔) 𝐺𝑁 ← 𝜽 . 𝜽 終端は (rg) gn と θ である。 0.76
𝜽 // (4) On-node graph embedding update. θ // (4) ノードグラフの埋め込み更新。 0.88
{𝒉𝐺,𝑐,𝑖|𝑖 ∈ V} ← {hG,c,i|i ∈ V} 0.84
(𝑟𝑔,𝑅𝑠) 𝐺𝑁 (𝑟𝑔,𝑅𝑠) 𝐺𝑁 0.85
𝐺𝑁 ({𝒉𝑐,𝑖|𝑖 ∈ V}; 𝜽 GN ({hc,i|i ∈ V}; θ 0.92
for each client 𝑖 ∈ V in parallel do 各クライアント i ∈ V に対して、並列do 0.82
(𝑟𝑔) 𝐺𝑁 ). (𝑟𝑔) 𝐺𝑁 ). 0.85
Set graph encoding on client as 𝒉𝐺,𝑐,𝑖. hG,c,i としてクライアントにグラフエンコーディングを設定する。 0.76
33: 34: 35: 36: end for 33:34:35:36:終了 0.52
end for Algorithm 2 Training algorithm of CNFGNN on the client side. 終止符 アルゴリズム2 クライアント側のCNFGNNのトレーニングアルゴリズム。 0.62
ClientUpdate(𝑖, 𝑅𝑐, 𝜂𝑐): 1: for client round 𝑟𝑐 = 1, 2, . ClientUpdate(i, Rc, ηc): 1: for client round rc = 1, 2, . 0.89
. . , 𝑅𝑐 do (𝑟𝑐−1),𝑒𝑛𝑐 ). . . , Rc do (rc−1), enc )。 0.84
2: 𝑐,𝑖 3: (𝑟𝑐−1),𝑑𝑒𝑐 ). 2: 𝑐,𝑖 3: (𝑟𝑐−1),𝑑𝑒𝑐 ). 0.91
𝑐,𝑖 (𝑟𝑐) 𝑐,𝑖 ← 𝐸𝑛𝑐𝑜𝑑𝑒𝑟𝑖(𝒙𝑖; 𝜽 𝒉 ˆ𝒚𝑖 ← 𝐷𝑒𝑐𝑜𝑑𝑒𝑟𝑖( (𝑟𝑐) 𝑥𝑖,𝑚, [𝒉 ; 𝒉𝐺,𝑐,𝑖]; 𝜽 𝑐,𝑖 ℓ𝑖 ← ℓ( ˆ𝒚𝑖, 𝒚). 𝑐,𝑖 (𝑟𝑐) 𝑐,𝑖 ← 𝐸𝑛𝑐𝑜𝑑𝑒𝑟𝑖(𝒙𝑖; 𝜽 𝒉 ˆ𝒚𝑖 ← 𝐷𝑒𝑐𝑜𝑑𝑒𝑟𝑖( (𝑟𝑐) 𝑥𝑖,𝑚, [𝒉 ; 𝒉𝐺,𝑐,𝑖]; 𝜽 𝑐,𝑖 ℓ𝑖 ← ℓ( ˆ𝒚𝑖, 𝒚). 0.85
(𝑟𝑐−1) (𝑟𝑐) − 𝜂𝑐∇ 𝑐,𝑖 ← 𝜽 𝜽 𝑐,𝑖 (𝑟𝑐−1) (𝑟𝑐) − 𝜂𝑐∇ 𝑐,𝑖 ← 𝜽 𝜽 𝑐,𝑖 0.99
ℓ𝑖. (𝑟𝑐−1) 𝑐,𝑖 ℓ𝑖. (𝑟𝑐−1) 𝑐,𝑖 0.90
𝜽 4: 5: 6: end for 𝜽 4: 5: 6: end for 0.85
(𝑅𝑐) 𝑐,𝑖 . (𝑅𝑐) 𝑐,𝑖 . 0.85
7: 𝜽𝑐,𝑖 = 𝜽 8: return 𝜽𝑐,𝑖 to server. 7: θc,i = θ8: θc,i をサーバに返す。 0.91
ClientEncode(𝑖): 1: return 𝒉𝑐,𝑖 = 𝐸𝑛𝑐𝑜𝑑𝑒𝑟𝑖(𝒙𝑖; 𝜽 𝑒𝑛𝑐 ClientBackward(𝑖, ℎ𝐺,𝑐,𝑖): 1: ˆ𝒚𝑖 ← 𝐷𝑒𝑐𝑜𝑑𝑒𝑟𝑖(𝑥𝑖,𝑚, [ℎ𝑐,𝑖; ℎ𝐺,𝑐,𝑖]; 𝜽𝑑𝑒𝑐 𝑐,𝑖 ). ClientEncode(𝑖): 1: return 𝒉𝑐,𝑖 = 𝐸𝑛𝑐𝑜𝑑𝑒𝑟𝑖(𝒙𝑖; 𝜽 𝑒𝑛𝑐 ClientBackward(𝑖, ℎ𝐺,𝑐,𝑖): 1: ˆ𝒚𝑖 ← 𝐷𝑒𝑐𝑜𝑑𝑒𝑟𝑖(𝑥𝑖,𝑚, [ℎ𝑐,𝑖; ℎ𝐺,𝑐,𝑖]; 𝜽𝑑𝑒𝑐 𝑐,𝑖 ). 0.86
2: ℓ𝑖 ← ℓ( ˆ𝒚𝑖, 𝒚). 2: ℓ𝑖 ← ℓ( ˆ𝒚𝑖, 𝒚). 0.92
3: return ∇𝒉𝐺,𝑐,𝑖 3:ehG,c,i を返す 0.85
ℓ𝑖 to server. 𝑐,𝑖 ) to server. liからサーバへ。 c,i)からサーバへ。 0.82
3.2 Proposed Method We now introduce our proposed Cross-Node Federated Graph Neural Network (CNFGNN) model. 3.2 提案手法では,提案するクロスノードフェデレーショングラフニューラルネットワーク(cnfgnn)モデルを導入する。 0.80
Here, we begin by disentangling the modeling of node-level temporal dynamics and server-level spatial dynamics as follows: (i) (Figure 1c) on each node, an encoderdecoder model extracts temporal features from data on the node and makes predictions; (ii) (Figure 1b) on the central server, a Graph Network (GN) [6] propagates extracted node temporal features and outputs node embeddings, which incorporate the relationship information amongst nodes. ここでは,ノードレベルの時間的ダイナミクスとサーバレベルの空間的ダイナミクスのモデル化を,まずまず,各ノード上の (i) (Figure 1c) エンコーダデコーダモデルでノード上のデータから時間的特徴を抽出し,予測する; (ii) (i) (Figure 1b) 中央サーバ上ではグラフネットワーク (GN) [6] が抽出ノードの時間的特徴を伝播し,ノード間の関係情報を包含するノード埋め込みを出力する。 0.88
(i) has access to the not shareable node data (i)共有できないノードデータへのアクセスがある 0.88
and is executed on each node locally. 各ノード上でローカルに実行される。 0.76
(ii) only involves the upload and download of smashed features and gradients instead of the raw data on nodes. (ii) ノードの生データではなく、スマッシュされた機能や勾配のアップロードとダウンロードのみを含む。 0.77
This decomposition enables the exchange and aggregation of node information under the cross-node federated learning constraint. この分解により、クロスノード連合学習制約の下でノード情報の交換と集約が可能となる。 0.71
3.2.1 Modeling of Node-Level Temporal Dynamics. 3.2.1 ノードレベルテンポラルダイナミクスのモデリング 0.64
We modify the Gated Recurrent Unit (GRU) based encoder-decoder architecture in [7] for the modeling of node-level temporal dynamics on each node. 我々は,ノードレベルの時間的ダイナミクスをモデル化するために,GRUベースのエンコーダデコーダアーキテクチャを[7]に修正した。 0.76
Given an input sequence 𝒙𝑖 ∈ R𝑚×𝐷 on the 𝑖-th node, an encoder i-thノード上の入力シーケンス xi ∈ Rm×D が与えられたエンコーダ 0.82
英語(論文から抽出)日本語訳スコア
(a) Overview of the training procedure. (a)訓練手順の概要。 0.61
(b) Server-side Graph Network (GN). (b)サーバサイドグラフネットワーク(GN)。 0.79
(c) Encoder-decoder on the 𝑖-th node. (c)第iノード上のエンコーダデコーダ。 0.84
Figure 1: Cross-Node Federated Graph Neural Network. 図1:クロスノードフェデレーショングラフニューラルネットワーク。 0.50
(a) In each round of training, we alternately train models on nodes and the model on the server. (a)各ラウンドのトレーニングにおいて、ノード上のモデルとサーバ上のモデルとを交互にトレーニングします。 0.75
More specifically, we sequentially execute: (1) Federated learning of on-node models. より具体的には、(1)オンノードモデルのフェデレーション学習。 0.57
(2) Temporal encoding update. (2) テンポラリエンコーディングのアップデート。 0.71
(3) Split Learning of GN. (3)GNの分割学習 0.66
(4) On-node graph embedding update. (4) ノードグラフの埋め込み更新。 0.81
(b) Detailed view of the server-side GN model for modeling spatial dependencies in data. b)データ内の空間依存性をモデル化するためのサーバ側GNモデルの詳細なビュー。 0.79
(c) Detailed view of the encoder-decoder model on the 𝑖-th node. (c)第iノードのエンコーダ・デコーダモデルの詳細なビュー。 0.81
sequentially reads the whole sequence and outputs the hidden state 𝒉𝑐,𝑖 as the summary of the input sequence according to Equation 1. 逐次的にシーケンス全体を読み出し、方程式1に従って入力シーケンスの要約として隠れ状態hc,iを出力する。 0.84
(1) 𝒉𝑐,𝑖 = 𝐸𝑛𝑐𝑜𝑑𝑒𝑟𝑖(𝒙𝑖, 𝒉 (1) 𝒉𝑐,𝑖 = 𝐸𝑛𝑐𝑜𝑑𝑒𝑟𝑖(𝒙𝑖, 𝒉 0.85
(0) 𝑐,𝑖 ), (0) 𝑐,𝑖 ), 0.76
(0) 𝑐,𝑖 where 𝒉 (0) 𝑐,𝑖 どこに 0.78
is a zero-valued initial hidden state vector. ゼロ値の初期隠れ状態ベクトルである。 0.80
To incorporate the spatial dynamics into the prediction model of each node, we concatenate 𝒉𝑐,𝑖 with the node embedding 𝒉𝐺,𝑐,𝑖 generated from the procedure described in 3.2.2, which contains spatial information, as the initial state vector of the decoder. 空間ダイナミクスを各ノードの予測モデルに組み込むため、デコーダの初期状態ベクトルとして空間情報を含む3.2.2に記述された手順から生成されたノード埋め込みhg,c,iとhc,iを結合する。 0.83
The decoder generates the prediction ˆ𝒚𝑖 in an auto-regressive way starting from the last frame of the input sequence 𝑥𝑖,𝑚 with the concatenated hidden state vector. デコーダは、連結された隠れ状態ベクトルと入力シーケンスxi,mの最後のフレームから始まる自己回帰的な方法で予測シイを生成する。 0.80
ˆ𝒚𝑖 = 𝐷𝑒𝑐𝑜𝑑𝑒𝑟𝑖(𝑥𝑖,𝑚, [𝒉𝑐,𝑖; 𝒉𝐺,𝑐,𝑖]). ˆ𝒚𝑖 = 𝐷𝑒𝑐𝑜𝑑𝑒𝑟𝑖(𝑥𝑖,𝑚, [𝒉𝑐,𝑖; 𝒉𝐺,𝑐,𝑖]). 0.77
(2) We choose the mean squared error (MSE) between the prediction and the ground truth values as the loss function, which is evaluated on each node locally. (2) 我々は,各ノードで局所的に評価される損失関数として,予測値と基底真理値の平均二乗誤差(MSE)を選択する。 0.86
3.2.2 Modeling of Spatial Dynamics. 3.2.2 空間力学のモデリング 0.66
To capture the complex spatial dynamics, we adopt Graph Networks (GNs) proposed in [6] to generate node embeddings containing the relational information of all nodes. 複雑な空間力学を捉えるため,グラフネットワーク(GN)を[6]に提案し,すべてのノードの関係情報を含むノード埋め込みを生成する。 0.85
The central server collects the hidden state from all nodes {𝒉𝑐,𝑖 | 𝑖 ∈ V} as the input to the GN. 中央サーバは、GNへの入力としてすべてのノード {hc,i | i ∈ V} から隠された状態を収集する。 0.84
Each layer of GN updates the input features as follows: GNの各レイヤは以下の入力機能を更新する。 0.81
𝑘 = 𝜙𝑒(cid:0)e𝑘, v𝑟𝑘 , v𝑠𝑘 , u(cid:1) 𝑖 = 𝜙 𝑣(cid:0)e′ 𝑖, v𝑖, u(cid:1) u′ = 𝜙𝑢(cid:0)e′, v′, u(cid:1) k = φe(cid:0)ek, vrk , vsk , u(cid:1) i = φ v(cid:0)e′ i, vi, u(cid:1) u′ = φu(cid:0)e′, v′, u(cid:1) 0.88
e′ v′ 𝑖 = 𝜌𝑒→𝑣(cid:0)𝐸′ e′ v′ i = ρe→v(cid:0)E′ 0.69
e′ e′ = 𝜌𝑒→𝑢 (𝐸′) v′ = 𝜌 𝑣→𝑢 (𝑉 ′) e′ e′ = ρe→u (E′) v′ = ρ v→u (V′) 0.75
(cid:1) 𝑖 , (cid:1) 𝑖 , 0.83
(3) where e𝑘, v𝑖, u are edge features, node features and global features respectively. (3) ek、vi、uはそれぞれエッジ機能、node機能、グローバル機能である。 0.74
𝜙𝑒, 𝜙 𝑣, 𝜙𝑢 are neural networks. φe, φv, φuはニューラルネットワークである。 0.75
𝜌𝑒→𝑣, 𝜌𝑒→𝑢, 𝜌 𝑣→𝑢 are aggregation functions such as summation. ρe→v, ρe→u, ρv→u は和のような凝集関数である。 0.60
As shown in Figure 1b, we choose a 2-layer GN with residual connections for all experiments. 図1bに示すように、すべての実験に対して残差接続を持つ2層GNを選択する。 0.71
We set v𝑖 = 𝒉𝑐,𝑖, e𝑘 = 𝑊𝑟𝑘,𝑠𝑘 (𝑊 is the adjacency matrix) , and assign the empty vector to u as the input of the first GN layer. 我々は vi = hc,i, ek = Wrk,sk (W は隣接行列) を設定し、空ベクトルを u を第一GN層の入力として割り当てる。 0.78
The server-side GN outputs embeddings {𝒉𝐺,𝑐,𝑖 | 𝑖 ∈ V} for all nodes, and sends the embedding of each node correspondingly. サーバ側GNは、すべてのノードに対する埋め込み {hG,c,i | i ∈ V} を出力し、各ノードの埋め込みを対応する形で送信する。
訳抜け防止モード: サーバ側GNはすべてのノードに対して埋め込み {hG,c,i | i ∈ V } を出力する。 そして各ノードの埋め込みを対応する .
0.91
3.2.3 Alternating Training of Node-Level and Spatial Models. 3.2.3 ノードレベルおよび空間モデルの交互トレーニング 0.66
One challenge brought about by the cross-node federated learning requirement and the server-side GN model is the high communication cost in the training stage. クロスノードフェデレーション学習要求とサーバサイドgnモデルによってもたらされる課題のひとつは、トレーニングステージにおける高い通信コストである。 0.75
Since we distribute different parts of the model on different devices, Split Learning proposed by [25] is a potential solution for training, where hidden vectors and gradients are communicated among devices. 異なるデバイスにモデルの異なる部分を分散するため、[25] が提案するSplit Learningは、デバイス間で隠れたベクトルと勾配が通信される、トレーニングのための潜在的ソリューションである。 0.79
However, when we simply train the model end-to-end via Split Learning, the central server needs to receive hidden states from all nodes and to send node embeddings to all nodes in the forward propagation, then it must receive gradients of node embeddings from all nodes and send back gradients of hidden states to all nodes in the backward propagation. しかし、Split Learningを通じてモデルエンドツーエンドのトレーニングを行う場合、中央サーバはすべてのノードから隠れた状態を受け取り、前方の伝搬ですべてのノードにノード埋め込みを送信する必要があり、その場合は、すべてのノードからノード埋め込みの勾配を受け取り、後方の伝搬ですべてのノードに隠された状態の勾配を送信しなければなりません。
訳抜け防止モード: しかし、単にモデルエンドをトレーニングする場合 -終わり Split Learningを通じて、中央サーバーが必要とする すべてのノードから隠れた状態を受け取り、転送中のすべてのノードにノード埋め込みを送信する。 すべてのノードからノード埋め込みの勾配を 後方伝播中のすべてのノードに隠された状態の勾配を返します。
0.77
Assume all hidden states and node embeddings have the same size 𝑆, the total amount of data transmitted in each training round of the GN model is 4|V|𝑆. すべての隠れ状態とノードの埋め込みが同じサイズ S であり、GN モデルの各トレーニングラウンドで送信されるデータの総量は 4|V|S である。 0.89
To alleviate the high communication cost in the training stage, we instead alternately train models on nodes and the GN model on the server. トレーニング段階における高い通信コストを軽減するため、ノード上のモデルとサーバ上のGNモデルを交互にトレーニングする。 0.79
More specifically, in each round of training, we (1) fix the node embedding 𝒉𝐺,𝑐,𝑖 and optimize the encoder-decoder model for 𝑅𝑐 rounds, then (2) we optimize the GN model while fixing all models on nodes. 具体的には,(1)ノード埋め込みhg,c,iを固定し,(2)rcラウンドのエンコーダ・デコーダモデルを最適化し,(2)すべてのモデルをノードに固定しながらgnモデルを最適化する。 0.75
Since models on nodes are fixed, 𝒉𝑐,𝑖 stays constant during the training of the GN model, and the server only needs to fetch 𝒉𝑐,𝑖 from nodes before the training of GN starts and only to communicate node embeddings and gradients. ノード上のモデルは固定されているため、hc,iはGNモデルのトレーニング中に一定であり、サーバはGNのトレーニングが始まる前にノードからhc,iをフェッチし、ノードの埋め込みと勾配を通信するのみである。 0.84
Therefore, the average amount of data transmitted in each round for 𝑅𝑠 rounds of training of the GN model reduces to 2+2𝑅𝑠 |V|𝑆. したがって、GNモデルのトレーニングのRsラウンドの各ラウンドで送信される平均データ量は、2+2Rs |V|Sに減少する。 0.71
We provide more details of the training procedure in Algorithm 1 and Algorithm 2. アルゴリズム1とアルゴリズム2のトレーニング手順の詳細について述べる。 0.64
To more effectively extract temporal features from each node, we also train the encoder-decoder models on nodes with the FedAvg algorithm proposed in [21]. また,各ノードから時間的特徴をより効果的に抽出するために,[21]で提案したFedAvgアルゴリズムを用いて,ノード上のエンコーダデコーダモデルを訓練する。 0.75
This enables all nodes to share the same feature extractor and thus share a joint hidden space of temporal features, which avoids the potential overfitting of models on nodes and demonstrates faster convergence and better prediction performance empirically. これにより、すべてのノードが同じ特徴抽出器を共有し、時間的特徴の共用空間を共有することが可能となり、ノード上のモデルの潜在的な過剰フィットを回避し、より高速な収束と予測パフォーマンスを経験的に示すことができる。 0.66
𝑅𝑠 ServerNode...(1)(1)( 2)(3)(4)NodeGNGNFedA vg:(1)(2)(3)(4)..... .......(1)(2)(3)(4) 𝑅𝑠 ServerNode...(1)(1)( 2)(3)(4)NodeGNGNFedA vg:(1)(3)(4)........ ....(1)(3)(4) 0.90
英語(論文から抽出)日本語訳スコア
4 EXPERIMENTS We evaluate the performance of CNFGNN and all baseline methods on the traffic forecasting task, which is an important application for spatio-temporal data modeling. 4) 時空間データモデリングにおけるCNFGNNと全てのベースライン手法の性能評価を行った。
訳抜け防止モード: 4 交通予報タスクにおけるCNFGNNおよびすべてのベースライン手法の性能評価を行った。 これは時空間データモデリングのための重要なアプリケーションです。
0.77
The primary challenge in FL is to respect constraints on data sharing and manipulation. FLの主な課題は、データの共有と操作に関する制約を尊重することである。 0.65
These constraints can occur in scenarios where data contains sensitive information, such as financial data owned by different institutions. これらの制約は、異なる機関が所有する金融データのような機密情報を含むシナリオで発生する。 0.69
Due to the sensitivity of data, datasets from such scenarios are proprietary and hardly offer public access. データの感度のため、このようなシナリオからのデータセットはプロプライエタリであり、公開アクセスはほとんど提供されない。 0.59
Therefore, we demonstrate the applicability of our proposed model on the traffic dataset, which is a good representative example of data with spatio-temporal correlations, and has been extensively studied in spatio-temporal forecasting works without FL constraints [18, 32]. そこで本論文では,時空間相関データの代表例である交通データセット上での本モデルの適用性を実証し,FL制約のない時空間予測作業において広く研究されている[18, 32]。 0.79
Our proposed model is general and applicable to other spatio-temporal datasets with sensitive information. 提案モデルは汎用的で,センシティブな情報を含む他の時空間データセットに適用可能である。 0.51
We reuse the following two real-world large-scale datasets in [18] and follow the same preprocessing procedures: (1) PEMS-BAY: This dataset contains the traffic speed readings from 325 sensors in the Bay Area over 6 months from Jan 1st, 2017 to May 31st, 2017. 1)PEMS-BAY: このデータセットには、2017年1月1日から2017年5月31日までの6ヶ月にわたって、ベイエリアの325のセンサーからのトラフィック速度の読み取りが含まれています。
訳抜け防止モード: 以下の2つの実世界規模のデータセットを[18]で再利用します。 PEMS - BAY : このデータセットは,2017年1月1日から2017年5月31日までの6ヶ月にわたって,ベイエリアの325個のセンサからのトラフィック速度を読み取る。
0.65
(2) METR-LA: This dataset contains the traffic speed readings from 207 loop detectors installed on the highway of Los Angeles County over 4 months from Mar 1st, 2012 to Jun 30th, 2012. 2) METR-LA: このデータセットは,2012年12月1日から2012年7月30日までの4ヶ月にわたって,ロサンゼルス郡の高速道路に設置された207個のループ検出器からの速度測定結果を含む。 0.68
For both datasets, we construct the adjacency matrix of sensors using the Gaussian kernel with a threshold: 𝑊𝑖,𝑗 = 𝑑𝑖,𝑗 if 𝑑𝑖,𝑗 >= 𝜅 else 0, where 𝑑𝑖,𝑗 = exp (− dist(𝑣𝑖,𝑣𝑗)2 ), dist(𝑣𝑖, 𝑣 𝑗) is the road network distance from sensor 𝑣𝑖 to sensor 𝑣 𝑗, 𝜎 is the standard deviation of distances and 𝜅 is the threshold. Wi,j = di,j if di,j >= κ else 0, where di,j = exp (− dist(vi,vj)2 ), dist(vi, v j) is the road network distance from sensor vi to sensor v j, σ is the standard deviation of distances and κ is the threshold。
訳抜け防止モード: どちらのデータセットに対しても、閾値: wi,j = di,j if di,j > = κ else 0 のガウス核を用いてセンサの隣接行列を構築する。 di,j = exp ( − dist(vi,vj)2 ), dist(vi, vj ) はセンサviからセンサvjまでの道路網距離である。 σ は距離の標準偏差である κはしきい値です
0.78
We set 𝜅 = 0.1 for both datasets. 両方のデータセットに対して κ = 0.1 をセットする。 0.59
We aggregate traffic speed readings in both datasets into 5minute windows and truncate the whole sequence to multiple sequences with length 24. 両データセットのトラフィック速度を5分間のウィンドウに集約し、全シーケンスを長さ24の複数のシーケンスに切り換える。 0.73
The forecasting task is to predict the traffic speed in the following 12 steps of each sequence given the first 12 steps. 予測タスクは、最初の12ステップを与えられた各シーケンスの次の12ステップでトラフィック速度を予測することである。
訳抜け防止モード: 予測作業は 最初の12ステップを与えられた各シーケンスの次の12ステップにおける交通速度を予測する。
0.86
We show the statistics of both datasets in Table 1. 両データセットの統計データを表1に示す。 0.78
𝜎2 Table 1: Statistics of datasets PEMS-BAY and METR-LA. 𝜎2 表1:PEMS-BAYとMETR-LAのデータセット統計。 0.74
Dataset # Nodes データセット #Nodes 0.72
# Directed Edges # Train Seq #有向エッジ #列車seq 0.70
# Val Seq # Test Seq #Val Seq # test seq 0.80
PEMS-BAY METR-LA PEMS-BAY MeTR-LA 0.48
325 207 2369 1515 325 207 2369 1515 0.85
36465 23974 36465 23974 0.85
5209 3425 10419 6850 5209 3425 10419 6850 0.85
4.1 Spatio-Temporal Data Modeling: Traffic 4.1 時空間データモデリング:トラフィック 0.75
Flow Forecasting Baselines. フロー予測 ベースライン。 0.68
Here we introduce the settings of baselines and our proposed model CNFGNN. ここではベースラインの設定と提案したモデルCNFGNNを紹介する。 0.80
Unless noted otherwise, all models are optimized using the Adam optimizer with the learning rate 1e-3. さもなければ、すべてのモデルはAdamオプティマイザを使って学習率1e-3で最適化される。 0.60
• GRU (centralized): Gated Recurrent Unit (GRU) model trained with centralized sensor data. • GRU(集中型): 集中型センサーデータで訓練されたGRUモデル。 0.68
The GRU model with 63K parameters is a 1-layer GRU with hidden dimension 100, and the GRU model with 727K parameters is a 2-layer GRU with hidden dimension 200. 63KパラメータのGRUモデルは隠れ次元100の1層GRUであり、727KパラメータのGRUモデルは隠れ次元200の2層GRUである。 0.84
• GRU + GN (centralized): a model directly combining GRU and GN trained with centralized data, whose architecture is similar to CNFGNN but all GRU modules on nodes always share the same weights. • GRU + GN (centralized): GRUとGNを直接訓練したモデルで、アーキテクチャはCNFGNNに似ているが、ノード上のすべてのGRUモジュールは同じ重みを共有している。 0.82
We see its performance as the upper bound of the performance of CNFGNN. 我々はその性能をCNFGNNの性能の上限と見なしている。 0.72
the local data on it. • GRU (local): for each node we train a GRU model with only • GRU + FedAvg: a GRU model trained with the Federated Averaging algorithm [21]. 地元のデータです • GRU (ローカル): 各ノードに対して、 • GRU + FedAvg: Federated AveragingアルゴリズムでトレーニングされたGRUモデルをトレーニングします [21]。 0.62
We select 1 as the number of local epochs. 我々は1を局所的エポック数として選択する。 0.58
• GRU + FMTL: for each node we train a GRU model using the federated multi-task learning (FMTL) with cluster regularization [26] given by the adjacency matrix. • GRU + FMTL:各ノードに対して、隣接行列によって与えられるクラスタ正規化[26]を備えたFMTL(Federated Multi-task Learning)を使用してGRUモデルをトレーニングする。 0.76
More specifically, the cluster regularization (without the L2-norm regularization term) takes the following form: R(𝑾, Ω) = 𝜆tr(𝑾Ω𝑾 より具体的には、クラスタ正則化(L2-ノルム正則化項を含まない)は以下の形式をとる: R(W, Ω) = λtr(WΩW) 0.66
(4) Given the constructed adjacency matrix 𝑨, Ω = 1|V| (𝑫 − 𝑨) = 1|V| 𝑳, where 𝑫 is the degree matrix and 𝑳 is the Laplacian matrix. (4) 構築された隣接行列 A が与えられたとき、Ω = 1|V| (D − A) = 1|V| L となる。
訳抜け防止モード: (4 ) 構築された隣接行列 a, ω = 1|v| (d − a ) = 1|v| l, d は次数行列であり l はラプラシアン行列である。
0.74
Equation 4 can be reformulated as: 𝑇) R(𝑾, Ω) = 𝜆tr(𝑾Ω𝑾 |V| tr(∑︁ |V| tr(𝑾 𝑳𝑾 = 𝜆1(∑︁ ∑︁ T) R(W, Ω) = λtr(WΩW |V| tr(U |V| tr(W LW = λ1(英語版)) 0.70
𝑗≠𝑖 𝛼𝑖,𝑗⟨𝒘𝑖, 𝒘𝑖 − 𝒘 𝑗⟩). 𝑗≠𝑖 𝛼𝑖,𝑗⟨𝒘𝑖, 𝒘𝑖 − 𝒘 𝑗⟩). 0.94
𝑖 −∑︁ ∑︁ 𝒘𝑖𝑎𝑖 𝑗𝒘 𝑖 −∑︁ ∑︁ 𝒘𝑖𝑎𝑖 𝑗𝒘 0.78
𝑖∈V 𝑇). ihtmlv 𝑇). 0.62
𝑎𝑖 𝑗𝒘 𝑇 𝑇 𝑗 ) 𝑎𝑖 𝑗𝒘 𝑇 𝑇 𝑗 ) 0.85
= = 𝜆 𝜆 (5) = = 𝜆 𝜆 (5) 0.85
𝑇) 𝒘𝑖 𝑗≠𝑖 𝑖∈V 𝑇) 𝒘𝑖 𝑗≠𝑖 ihtmlv 0.67
𝑗≠𝑖 We implement the cluster regularization via sharing model weights between each pair of nodes connected by an edge and select 𝜆1 = 0.1. 𝑗≠𝑖 エッジで接続された各ノード間のモデル重みの共有によるクラスタ正規化を実装し,λ1 = 0.1を選択する。 0.66
For each baseline, we have 2 variants of the GRU model to show the effect of on-device model complexity: one with 63K parameters and the other with 727K parameters. それぞれのベースラインに対して、デバイス上のモデルの複雑さの影響を示すために、gruモデルの2つの変種があります。
訳抜け防止モード: 各ベースラインに対して、オンデバイスモデルの複雑さの効果を示すGRUモデルの2つの変種がある。 もう一つは727Kパラメータである。
0.70
For CNFGNN, the encoder-decoder model on each node has 64K parameters and the GN model has 1M parameters. CNFGNNの場合、各ノードのエンコーダデコーダモデルは64Kパラメータを持ち、GNモデルは1Mパラメータを持つ。 0.80
• CNFGNN We use a GRU-based encoder-decoder model as the model on nodes, which has 1 GRU layer and hidden dimension 64. • CNFGNN GRUベースのエンコーダデコーダモデルをノード上のモデルとして使用します。
訳抜け防止モード: • CNFGNN GRUベースのエンコーダ-デコーダモデルをノードのモデルとして使用します。 1つのGRU層と64の隠蔽次元を持つ。
0.76
We use a 2-layer Graph Network (GN) with residual connections as the Graph Neural Network model on the server side. サーバ側では,グラフニューラルネットワークモデルとして残差接続を持つ2層グラフネットワーク(gn)を用いる。 0.83
We use the same network architecture for the edge/node/global update function in each GN layer: a multilayer perceptron (MLP) with 3 hidden layers, whose sizes are [256, 256, 128] respectively. 各gn層のエッジ/ノード/グローバル更新関数には、同じネットワークアーキテクチャを使用します。 それぞれ[256, 256, 128]の大きさの3つの隠れ層を持つ多層パーセプトロン(mlp)です。 0.79
We choose 𝑅𝑐 = 1, 𝑅𝑠 = 20 for experiments on PEMS-BAY, and 𝑅𝑐 = 1, 𝑅𝑠 = 1 for METR-LA. PEMS-BAY の実験では Rc = 1, Rs = 20 を、METR-LA では Rc = 1, Rs = 1 を選択する。 0.82
Calculation of Communication Cost. We denote 𝑅 as the number of communication rounds for one model to reach the lowest validation error in the training stage. 通信コストの計算。 我々は、Rを訓練段階において最低の検証誤差に達するための1つのモデルの通信ラウンド数と表現する。 0.73
GRU + FMTL. GRU + FMTL 0.62
Using Equation 5, in each communication round, each pair of nodes exchange their model weights, thus the total communicated data amount is calculated as: 各通信ラウンドにおいて、各ノード対がモデル重みを交換する等式5を用いて、全通信データ量を次のように算出する。 0.82
𝑅 × #nonself directed edges × size of node model weights. r × #nonself directed edges × size of node model weights (英語) 0.81
(6) We list corresponding parameters in Table 2. (6) 表2に対応するパラメータを列挙する。 0.81
CNFGNN (AT + FedAvg). CNFGNN (AT + FedAvg)。 0.77
In each communication round, the central server fetches and sends back model weights to each node for Federated Averaging, and transmits hidden vectors and gradients for Split Learning. 各通信ラウンドにおいて、中央サーバは、フェデレーション平均化のために各ノードにモデル重みを取得して送信し、分割学習のために隠れたベクトルと勾配を送信する。 0.64
The total communicated data amount is 通信されるデータの総量は 0.88
英語(論文から抽出)日本語訳スコア
calculated as: 𝑅 × (#nodes × size of node model weights × 2 + (1 + 2 ∗ server round + 1) × #nodes × hidden state size). r × (#nodes × size of node model weights × 2 + (1 + 2 ∗ server round + 1) × #nodes × hidden state size)。 0.74
(7) We list corresponding parameters in Table 3. (7) 表3に対応するパラメータを列挙する。 0.81
CNFGNN (SL). CNFGNN (SL)。 0.78
In each communication round, each node sends and fetches hidden vectors and graidents twice (one for encoder, the other for decoder) and the total communicated data amount is: (8) 各通信ラウンドにおいて、各ノードは2回(エンコーダで1回、デコーダでもう1回)隠れたベクターとグレイデントを送信、フェッチし、通信された総データ量は (8) である。
訳抜け防止モード: 各通信ラウンドにおいて、各ノードは2回(エンコーダで1回、デコーダでもう1回)、隠れたベクターとグレイデントを送受信する。 通信データ総量は : (8)
0.81
𝑅 × 2 × 2 × #nodes × hidden state size. R × 2 × 2 × #nodes × hidden state size。 0.81
We list corresponding parameters in Table 4. 表4に対応するパラメータを列挙する。 0.77
CNFGNN (SL + FedAvg). CNFGNN (SL + FedAvg)。 0.77
Compared to CNFGNN (SL), the method has extra communcation cost for FedAvg in each round, thus the total communicated data amount is: CNFGNN (SL) と比較して,各ラウンドにおけるFedAvgの通信コストは,次のとおりである。 0.60
𝑅 × (#nodes × size of node model weights × 2 + 2 × 2 × #nodes × hidden state size). r × (#nodes × size of node model weights × 2 + 2 × 2 × #nodes × hidden state size)。 0.81
(9) We list corresponding parameters in Table 5. (9) 表5に対応するパラメータを列挙する。 0.81
CNFGNN (AT, w/o FedAvg). CNFGNN (AT, w/o FedAvg)。 0.87
Compared to CNFGNN (AT + FedAvg), there is no communcation cost for the FedAvg part, thus the total communcated data amount is: 𝑅 × (1 + 2 ∗ server round + 1) × #nodes × hidden state size. CNFGNN (AT + FedAvg) と比較すると、FedAvg部分のコミュニケーションコストは発生しないので、合計コミュニケートされたデータ量は、R × (1 + 2 ∗ サーバラウンド + 1) × #nodes × 隠れ状態サイズである。 0.83
(10) We list corresponding parameters in Table 6. (10) 表6に対応するパラメータを列挙する。 0.82
Table 2: Parameters used for calculating the communication cost of GRU + FMTL. 表2: gru + fmtl の通信コストを計算するために使われるパラメータ。 0.84
Table 4: Parameters used for calculating the communication cost of CNFGNN (SL). 表4: cnfgnn(sl)の通信コストを計算するために使用されるパラメータ。 0.81
PEMS-BAY METR-LA PEMS-BAY METR-LA 0.59
#Nodes #Nodes #Nodes #Nodes 0.85
R R Hidden State Size (GB) R R Hidden State Size (GB) 0.85
2.173E-3 Train Comm Cost (GB) 2.173E-3 列車の通勤料金(gb) 0.52
350.366 Hidden State Size (GB) 350.366 Hidden State Size (GB) 0.72
1.429E-3 Train Comm Cost (GB) 1.429E-3 列車の通勤料金(gb) 0.52
307.627 325 307.627 325 0.72
31 207 65 Table 5: Parameters used for calculating the communication cost of CNFGNN (SL + FedAvg). 31 207 65 表5: cnfgnn(sl + fedavg)の通信コストを計算するために使用されるパラメータ。 0.83
Node Model Weights Size (GB) ノードモデル weights size (複数形 weights sizes) 0.69
2.384E-4 PEMS-BAY 2.384E-4 PEMS-BAY 0.46
METR-LA #Nodes METR-LA #Nodes 0.72
Hidden State Size (GB) Hidden State Size (GB) 0.85
2.173E-3 Train Comm Cost (GB) 2.173E-3 列車の通勤料金(gb) 0.52
#Nodes Hidden State Size (GB) #Nodes Hidden State Size (GB) 0.85
1.429E-3 325 1.429E-3 325 0.59
7 80.200 207 7 80.200 207 0.78
71 R R Train Comm Cost (GB) 71 R R 列車の通勤料金(gb) 0.81
343.031 Method 343.031 方法 0.68
GRU (63K) + FMTL GRU (727K) + FMTL GRU(63K)+FMTL GRU(727K)+FMTL 0.91
Node Model Weights Size (GB) Node Model Weights Size (GB) 0.85
2.347E-4 2.708E-3 2.347E-4 2.708E-3 0.34
Table 6: Parameters used for calculating the communication cost of CNFGNN (AT, w/o FedAvg). 表6:CNFGNN(AT, w/o FedAvg)の通信コストを計算するためのパラメータ。 0.79
PEMS-BAY METR-LA PEMS-BAY METR-LA 0.59
#Nonself Directed Edges #Nonself Directed Edges 0.85
Train Comm Cost (GB) #Nonself Directed Edges Train Comm Cost (GB) #Nonself Directed Edges 0.85
R R Train Comm Cost (GB) R R 列車の通勤料金(gb) 0.80
2369 1515 104 57.823 2369 1515 104 57.823 0.80
279 99.201 279 99.201 0.71
56 359.292 56 359.292 0.72
176 722.137 176 722.137 0.72
PEMS-BAY Table 3: Parameters used for calculating the communication cost of CNFGNN (AT + FedAvg). PEMS-BAY 表3: cnfgnn (at + fedavg) の通信コストを計算するために使われるパラメータ。 0.68
METR-LA Node Model METR-LA ノードモデル 0.66
Weights Size (GB) weights size (複数形 weights sizes) 0.65
2.384E-4 #Nodes 2.384E-4 #Nodes 0.59
Hidden State Size (GB) Hidden State Size (GB) 0.85
2.173E-3 Server Round 2.173E-3 サーバラウンド 0.53
R R Train Comm Cost (GB) R R 列車の通勤料金(gb) 0.80
5221.576 #Nodes 5221.576 #Nodes 0.72
Hidden State Size (GB) Hidden State Size (GB) 0.85
1.429E-3 Server Round 1.429E-3 サーバラウンド 0.53
Train Comm Cost (GB) 列車の通勤料金(gb) 0.71
2434.985 325 2434.985 325 0.72
20 44 207 1 49 20 44 207 1 49 0.85
PEMS-BAY METR-LA PEMS-BAY METR-LA 0.59
#Nodes Hidden State Size (GB) #Nodes Hidden State Size (GB) 0.85
2.173E-3 Server Round 2.173E-3 サーバラウンド 0.53
Train Comm Cost (GB) 列車の通勤料金(gb) 0.71
237.654 #Nodes 237.654 #Nodes 0.72
Hidden State Size (GB) Hidden State Size (GB) 0.85
1.429E-3 Server Round 1.429E-3 サーバラウンド 0.53
325 20 2 207 325 20 2 207 0.85
1 46 R R Train Comm Cost (GB) 1 46 R R 列車の通勤料金(gb) 0.81
222.246 Discussion. 222.246 議論。 0.62
Table 7 shows the comparison of forecasting performance and Table 8 shows the comparison of computation cost on device and communication cost of CNFGNN and baselines. 表7は予測性能の比較を示し,表8は装置の計算コストとCNFGNNの通信コストとベースラインの比較を示す。 0.84
We make the following observations. Firstly, when we compare the best forecasting performance of each baseline over the 2 GRU variants, GRU trained with FedAvg performs the worst in terms of forecasting performance compared to GRU trained with centralized data and GRU trained with local data (4.432 vs 4.010/4.124 on PEMSBAY and 12.058 vs 11.730/11.801 on METR-LA), showing that the data distributions on different nodes are highly heterogeneous, and training one single model ignoring the heterogeneity is suboptimal. 以下の観察を行う。 まず,各ベースラインの予測性能を2GRUモデルと比較した場合,FedAvgでトレーニングしたGRUと,PEMSBAYでトレーニングしたGRU(4.432 vs 4.010/4.124, METR-LAで12.058 vs 11.730/11.801, METR-LA)と比較して,FedAvgでトレーニングしたGRUの予測性能は最悪である。 0.62
英語(論文から抽出)日本語訳スコア
Table 7: Comparison of performance on the traffic flow forecasting task. 表7:交通流予測作業における性能の比較。 0.81
We use the Rooted Mean Squared Error (RMSE) to evaluate the forecasting performance. 予測性能の評価には,Rooted Mean Squared Error (RMSE) を用いる。 0.72
Method PEMS-BAY METR-LA 方法 PEMS-BAY MeTR-LA 0.62
(a) PEMS-BAY (a)PEMS-BAY 0.73
GRU (centralized, 63K) GRU (centralized, 727K) GRU(中央集権63K)GRU(中央集権727K) 0.85
GRU + GN (centralized, 64K + 1M) GRU + GN (中央集権64K+1M) 0.75
GRU (local, 63K) GRU (local, 727K) GRU (63K) + FedAvg GRU (727K) + FedAvg GRU (63K) + FMTL GRU (727K) + FMTL CNFGNN (64K + 1M) GRU(ローカル、63K)GRU(ローカル、727K)GRU(63K)+FedAvgGRU(727K)+FedAvgGRU(63K)+FMTLGRU(727K)+FMTLCNFGNN(64K+1M) 0.84
4.124 4.128 3.816 4.124 4.128 3.816 0.47
4.010 4.152 4.512 4.432 3.961 3.955 3.822 4.010 4.152 4.512 4.432 3.961 3.955 3.822 0.43
11.730 11.787 11.471 11.730 11.787 11.471 0.47
11.801 12.224 12.132 12.058 11.548 11.570 11.487 11.801 12.224 12.132 12.058 11.548 11.570 11.487 0.43
Table 8: Comparison of the computation cost on edge devices and the communication cost. 表8:エッジデバイスにおける計算コストと通信コストの比較。 0.77
We use the amount of floating point operations (FLOPS) to measure the computational cost of models on edge devices. 我々は、エッジデバイス上でのモデルの計算コストを測定するために浮動小数点演算(FLOPS)の量を用いる。 0.79
We also show the total size of data/parameters transmitted in the training stage (Train Comm Cost) until the model reaches its lowest validation error. また,モデルが最小の検証誤差に達するまで,トレーニング段階で送信されるデータ/パラメータの総サイズ(通信コスト)を示す。 0.81
Method Comp Cost On Device (GFLOPS) 方法 Comp Cost on Device (GFLOPS) 0.81
GRU (63K) + FMTL GRU (727K) + FMTL CNFGNN (64K + 1M) GRU(63K)+FMTL GRU(727K)+FMTL CNFGNN(64K+1M) 0.90
0.159 1.821 0.162 0.159 1.821 0.162 0.47
PEMS-BAY METR-LA PEMS-BAY METR-LA 0.59
RMSE Train Comm Cost (GB) 3.961 3.955 3.822 RMSE電車通勤コスト(GB)3.961.955.822 0.70
57.823 359.292 237.654 57.823 359.292 237.654 0.47
RMSE 11.548 11.570 11.487 RMSE 11.548 11.570 11.487 0.66
Train Comm Cost (GB) 列車の通勤料金(gb) 0.71
99.201 722.137 222.246 99.201 722.137 222.246 0.47
Secondly, both the GRU+FMTL baseline and CNFGNN consider the spatial relations among nodes and show better forecasting performance than baselines without relation information. 第2に、GRU+FMTLベースラインとCNFGNNは、ノード間の空間的関係を考慮し、関係情報のないベースラインよりも優れた予測性能を示す。 0.62
This shows that the modeling of spatial dependencies is critical for the forecasting task. このことは,空間依存のモデル化が予測作業に不可欠であることを示す。 0.69
Lastly, CNFGNN achieves the lowest forecasting error on both datasets. 最後に、CNFGNNは両方のデータセットで最も低い予測誤差を達成する。 0.62
The baselines that increases the complexity of on-device models (GRU (727K) + FMTL) gains slight or even no improvement at the cost of higher computation cost on edge devices and larger communication cost. デバイス上のモデル(GRU (727K) + FMTL)の複雑さを増大させるベースラインは、エッジデバイスでの計算コストの増大と通信コストの増大により、わずかあるいはそれ以上の改善はない。 0.83
However, due to its effective modeling of spatial dependencies in data, CNFGNN not only has the largest improvement of forecasting performance, but also keeps the computation cost on devices almost unchanged and maintains modest communication cost compared to baselines increasing the model complexity on devices. しかし、データ内の空間依存の効果的なモデリングのため、cnfgnnは予測性能を最大に向上させるだけでなく、デバイスの計算コストをほぼ変わらずに保ち、デバイスのモデル複雑さを増大させるベースラインと比較して通信コストを控えめに維持する。 0.76
4.2 Inductive Learning on Unseen Nodes 4.2 未知ノードによる帰納的学習 0.59
Set-up. Another advantage of CNFGNN is that it can conduct inductive learning and generalize to larger graphs with nodes unobserved during the training stage. セットアップ。 CNFGNNのもう1つの利点は、誘導学習を行い、トレーニング段階で観測されていないノードを持つ大きなグラフに一般化できることである。 0.67
We evaluate the performance of CNFGNN under the following inductive learning setting: for each dataset, we first sort all sensors based on longitudes, then use the subgraph on the first 𝜂% of sensors to train the model and evaluate 我々はCNFGNNの性能を次の帰納学習環境下で評価する:各データセットに対して、まず経度に基づいて全てのセンサをソートし、次に第1η%のセンサーにサブグラフを用いてモデルを訓練し、評価する。 0.80
(b) METR-LA Figure 2: Visualization of subgraphs visible in training under different ratios. b)METR-LA 図2:異なる比率でトレーニング中に見えるサブグラフの可視化。 0.78
the trained model on the entire graph. グラフ全体のトレーニングされたモデル。 0.79
For each dataset we select 𝜂% = 25%, 50%, 75%. 各データセットに対して η% = 25%, 50%, 75% を選択します。 0.85
Over all baselines following the cross-node federated learning constraint, GRU (local) and GRU + FMTL requires training new models on unseen nodes and only GRU + FedAvg is applicable to the inductive learning setting. クロスノードのフェデレートされた学習制約に従って、GRU(ローカル)とGRU + FMTLは、目に見えないノードで新しいモデルをトレーニングし、誘導学習環境に適用できるのはGRU + FedAvgのみである。
訳抜け防止モード: クロスノード連合学習制約に続くすべてのベースライン。 GRU(ローカル)とGRU + FMTLは、見えないノードで新しいモデルをトレーニングする必要がある そして GRU + FedAvg のみが帰納学習環境に適用できます。
0.73
Discussion. Table 9 shows the performance of inductive learning of CNFGNN and GRU + FedAvg baseline on both datasets. 議論。 表9は、両方のデータセットにおけるCNFGNNとGRU + FedAvgベースラインの帰納学習のパフォーマンスを示しています。 0.65
We observe that under most settings, CNFGNN outperforms the GRU + FedAvg baseline (except on the METR-LA dataset with 25% nodes observed in training, where both models perform similarly), showing that CNFGNN has the stronger ability of generalization. ほとんどの環境では、CNFGNNはGRU+FedAvgベースライン(トレーニング中に25%ノードが観測されるMETR-LAデータセットを除く)よりも優れており、CNFGNNはより強力な一般化能力を持っている。 0.69
We have further added results using 90% and 5% data on both datasets and we show the table of inductive learning results as Table 9. さらに,両データセットの90%と5%のデータを用いた結果を追加し,帰納的学習結果の表を表9として示す。 0.81
We observe that: (1) With the portion of visible nodes in the training stage increasing, the prediction error of CNFGNN decreases drastically. 1) 学習段階における可視ノード数の増加に伴い, CNFGNNの予測誤差は大幅に減少する。
訳抜け防止モード: これを観察する: ( 1 ) CNFGNNの予測誤差は、トレーニング段階で可視ノードの数が増加するにつれて大幅に減少する。
0.83
However, the increase of the portion of visible nodes has negligible contribution to the performance of GRU + FedAvg after the portion surpasses 25%. しかし、可視ノードの部分の増加は、部分の25%を超えた後に gru + fedavg のパフォーマンスに何ら貢献しない。 0.63
Since increasing the ratio of seen nodes in training introduces more complex relationships among nodes to the training data, the difference of performance illustrates that CNFGNN has a stronger capability of capturing complex spatial relationships. トレーニングにおけるノードの比率の増加は、トレーニングデータに対するノード間のより複雑な関係をもたらすため、CNFGNNは複雑な空間的関係をキャプチャする能力が強いことを示す。 0.88
(2) When the ratio of visible nodes in training is extremely low (5%), there is not enough spatial relationship information in the training data to train the GN module in CNFGNN, and the performance of CNFGNN may not be ideal. 2) トレーニング中の可視ノードの比率が極端に低い場合(5%)、トレーニングデータにはCNFGNNでGNモジュールをトレーニングするのに十分な空間関係情報がなく、CNFGNNの性能は理想的ではない。 0.77
We visualize the subgraphs visible in training under different ratios in Figure 2. 図2で異なる比率でトレーニングで見える部分グラフを視覚化する。 0.74
However, as long as the training data covers a moderate portion of the spatial information of the whole graph, CNFGNN can still leverage the learned spatial connections among nodes effectively and outperforms GRU+FedAvg. しかし、トレーニングデータがグラフ全体の空間情報の適度な部分をカバーする限り、CNFGNNは学習したノード間の空間接続を効果的に活用し、GRU+FedAvgより優れている。 0.74
We empirically show that the necessary ratio can vary for different datasets (25% for PEMS-BAY and 50% for METR-LA). その結果,PEMS-BAYは25%,METR-LAは50%)異なるデータセットに対して,必要な比率が変化することを示した。 0.66
4.3 Ablation Study: Effect of Alternating 4.3 アブレーション研究:交替の影響 0.86
Training and FedAvg on Node-Level and Spatial Models ノードレベルと空間モデルに関するトレーニングとFedAvg 0.77
Baselines. We compare the effect of different training strategies of CNFGNN: (1) Centralized: CNFGNN trained with centralized data where all nodes share one single encoder-decoder. ベースライン。 1) 集中型: CNFGNNは、すべてのノードが1つのエンコーダ-デコーダを共有する集中型データで訓練される。
訳抜け防止モード: ベースライン。 CNFGNNの異なるトレーニング戦略の効果の比較 : (1 )中央集権化 CNFGNNは、すべてのノードが1つのエンコーダ(decoder)を共有する集中データでトレーニングした。
0.70
(2) Split Learning (SL): CNFGNN trained with split learning [25], where models on nodes and the model on the server are jointly trained 2) 分割学習(SL): CNFGNN は分割学習 [25] で訓練され、ノード上のモデルとサーバ上のモデルが共同で訓練される。 0.88
5%25%50%75%90%5%25%5 0%75%90% 5%25%50%75%90%5%25%5 0%75%90% 0.85
英語(論文から抽出)日本語訳スコア
Table 9: Inductive learning performance measured with rooted mean squared error (RMSE). 表9:rooted mean squared error(rmse)による帰納的学習性能の測定。 0.80
Method GRU (63K) + FedAvg CNFGNN (64K + 1M) 方法 GRU(63K)+FedAvgCNFGNN(64K+1M) 0.84
PEMS-BAY METR-LA PEMS-BAY METR-LA 0.59
5% 5.087 5.869 5% 5.087 5.869 0.65
25% 4.863 4.541 25% 4.863 4.541 0.65
50% 4.847 4.598 50% 4.847 4.598 0.65
75% 4.859 4.197 75% 4.859 4.197 0.65
90% 4.866 3.942 90% 4.866 3.942 0.65
5% 12.128 13.931 5% 12.128 13.931 0.68
25% 11.993 12.013 25% 11.993 12.013 0.65
50% 12.104 11.815 50% 12.104 11.815 0.65
75% 12.014 11.676 75% 12.014 11.676 0.65
90% 12.016 11.629 90% 12.016 11.629 0.65
(a) PEMS-BAY (a)PEMS-BAY 0.73
(b) METR-LA Figure 3: Validation loss during the training stage of different training strategies. b)METR-LA 図3: 異なるトレーニング戦略のトレーニングステージにおける検証損失。 0.77
Table 10: Comparison of test error (RMSE) and the communication cost during training of different training strategies of CNFGNN. 表10:CNFGNNの異なる訓練戦略の訓練におけるテストエラー(RMSE)と通信コストの比較 0.76
Method Centralized SL 方法 中央集権 SL 0.73
SL + FedAvg SL + FedAvg 0.85
AT, w/o FedAvg AT + FedAvg AT, w/o FedAvg AT + FedAvg 0.94
PEMS-BAY METR-LA PEMS-BAY METR-LA 0.59
RMSE Train Comm Cost (GB) 3.816 3.914 4.383 4.003 3.822 RMSEトレインコムコスト(GB) 3.816 3.914 4.383 4.003 3.822 0.58
350.366 80.200 5221.576 237.654 350.366 80.200 5221.576 237.654 0.45
- RMSE 11.471 12.186 11.631 11.912 11.487 - RMSE 11.471 12.186 11.631 11.912 11.487 0.71
Train Comm Cost (GB) 列車の通勤料金(gb) 0.71
- 307.627 343.031 2434.985 222.246 - 307.627 343.031 2434.985 222.246 0.65
by exchanging hidden vectors and gradients. 隠れたベクトルと勾配を交換することで 0.66
(3) Split Learning + FedAvg (SL + FedAvg): A variant of SL that synchronizes the weights of encoder-decoder modules periodically with FedAvg. (3) Split Learning + FedAvg (SL + FedAvg): エンコーダ-デコーダモジュールの重みをFedAvgと周期的に同期させるSLの変種。 0.83
(4) Figure 4: Effect of client rounds and server rounds (𝑅𝑐, 𝑅𝑠) on forecasting performance and communication cost. (4) 図4: クライアントラウンドとサーバラウンド(Rc、Rs)がパフォーマンスと通信コストの予測に与える影響。 0.80
Alternating training without Federated Averaging of models on nodes (AT, w/o FedAvg). ノード上のモデルのフェデレーション平均化(AT, w/o FedAvg)のない代替トレーニング。 0.65
(5) Alternating training with Federated Averaging on nodes described in Section 3.2.3 (AT + FedAvg). (5) 第3条2.3節(AT + FedAvg)に記載されたノードにおけるフェデレート平均化の代替訓練 0.63
Discussion. Figure 3 shows the validation loss during training of different training strategies on PEMS-BAY and METR-LA datasets, and Table 10 shows their prediction performance and the communication cost in training. 議論。 図3はPEMS-BAYとMETR-LAデータセットの異なるトレーニング戦略のトレーニング中の検証損失を示し、表10はトレーニングにおける予測性能と通信コストを示している。 0.72
We notice that (1) SL suffers from suboptimal prediction performance and high communication costs on both datasets; SL + FedAvg does not have consistent results on both datasets and its performance is always inferior to AT + FedAvg. SL+FedAvgは各データセットに対して一貫した結果が得られず,その性能はAT+FedAvgより常に劣っている。
訳抜け防止モード: 我々は,(1 ) SL が最適下予測性能と両データセットの通信コストに悩まされていることに気付いた。 SL + FedAvg は両方のデータセットに対して一貫した結果を持たない。 その性能はAT + FedAvgより常に劣っている。
0.66
AT + FedAvg consistently outperforms other baselines on both datasets, including its variant without FedAvg. AT + FedAvgは、FedAvgなしでの変種を含む、両方のデータセット上の他のベースラインを一貫して上回る。 0.56
(2) AT + FedAvg has the lowest communication cost on METR-LA and the 2nd lowest communication cost on PEMS-BAY, on which the baseline with the lowest communication cost (SL + FedAvg) has a much higher prediction error (4.383 vs 3.822). 2) AT + FedAvgはMETR-LAの通信コストが最も低く、PEMS-BAYの通信コストは2番目に低く、通信コストの低いベースライン(SL + FedAvg)の方が予測誤差がより高い(4.383対3.822)。 0.89
Both illustrate that our proposed training strategy, SL + FedAvg, achieves the best prediction performance as well as low communication cost compared to other baseline strategies. どちらも、提案するトレーニング戦略であるSL+FedAvgが、他のベースライン戦略と比較して、最高の予測性能と通信コストを達成していることを示している。 0.59
4.4 Ablation Study: Effect of Client Rounds 4.4 アブレーション調査:顧客ラウンドの効果 0.87
and Server Rounds およびサーバラウンド 0.70
Set-up. We further investigate the effect of different compositions of the number of client rounds (𝑅𝑠) in Algorithm 2 and the number of server rounds (𝑅𝑐) in Algorithm 1. セットアップ。 さらに、アルゴリズム2におけるクライアントラウンド数(Rs)とアルゴリズム1におけるサーバラウンド数(Rc)の異なる構成の影響についても検討する。 0.73
To this end, we vary both 𝑅𝑐 and 𝑅𝑠 over [1,10,20]. この目的のために、Rc と Rs は [1,10,20] で異なる。 0.69
Discussion. Figure 4 shows the forecasting performance (measured with RMSE) and the total communication cost in the training of CNFGNN under all compositions of (𝑅𝑐, 𝑅𝑠) on the METRLA dataset. 議論。 図4は、METRLAデータセット上の(Rc, Rs)の全構成に基づき、予測性能(RMSEで測定)とCNFGNNのトレーニングにおける総通信コストを示す。 0.73
We observe that: (1) Models with lower 𝑅𝑐/𝑅𝑠 ratios 1)Rc/Rs比の低いモデル 0.51
0102030405060Epoch0. 20.30.4Val LossCentralizedSLSL + FedAvgAT, w/o FedAvgAT + FedAvg020406080Epoch 0.3000.3250.3500.375 0.400Val LossCentralizedSLSL + FedAvgAT, w/o FedAvgAT + FedAvg11.5011.5511.6 011.6511.7011.75Fore casting RMSE0200400600Comm Cost (GB)(1, 1)(1, 10)(1, 20)(10, 1)(10, 10)(10, 20)(20, 1)(20, 10)(20, 20)0.5Rc/Rs2Rc/Rs< ;0.5Rc/Rs>2 0102030405060epoch0. 20.30.30.4vallosscen tralizedslsl + fedavgat, w/o fedavgat + fedavg020406080epoch 0.3000.3250.3500.375 0.400val losscentralizedslsl + fedavgat, w/o fedavgat + fedavg11.5011.6011.6 011.7011.75forecasti ng rmse0200400600comm cost (gb)(1, 1) 10)(1, 10)(1, 10)(10, 10)(10, 10)(20, 1)(20, 10)(20, 20)0.5rc/rs2rc/rs< ;0.5rc/rs>2
訳抜け防止モード: 01020405060Epoch0.20 .30.4Val LossCentralizedSLSL + FedAvgAT, w/o FedAvgAT + FedAvg020406080Epoch 0.3000.3250.3500.375 0.400Val LossCentralizedSLSL + FedAvgAT w/o FedAvgAT + FedAvg11.5011.5511.6 011.6511.7011.75Fore casting RMSE0200400600Comm Cost ( GB)(1, 1)(1, 10)(1, 20)(10, 1)(10, 10)(10, 20)(20, 1)(20, 10)(20, 20)0.5Rc / Rs2Rc / Rs<0.5Rc / Rs>2
0.66
英語(論文から抽出)日本語訳スコア
(𝑅𝑐/𝑅𝑠 < 0.5) tend to have lower forecasting errors while models with higher 𝑅𝑐/𝑅𝑠 ratios (𝑅𝑐/𝑅𝑠 > 2) have lower communication cost in training. (Rc/Rs < 0.5)は予測誤差が低く,Rc/Rs比が高いモデル(Rc/Rs > 2)は訓練における通信コストが低い傾向にあった。 0.74
This is because the lower ratio of 𝑅𝑐/𝑅𝑠 encourages more frequent exchange of node information at the expense of higher communication cost, while the higher ratio of 𝑅𝑐/𝑅𝑠 acts in the opposite way. これは、Rc/Rsの低い比が通信コストを犠牲にしてノード情報のより頻繁な交換を促進するのに対し、Rc/Rsの低い比は反対に作用するためである。 0.68
(2) Models with similar 𝑅𝑐/𝑅𝑠 ratios have similar communication costs, while those with lower 𝑅𝑐 values perform better, corroborating our observation in (1) that frequent node information exchange improves the forecasting performance. 2) 類似のRc/Rs比のモデルでは通信コストが類似するが,Rc値の低いモデルでは性能が向上し,(1) ノード情報の頻繁な交換により予測性能が向上する。 0.86
5 CONCLUSION We propose Cross-Node Federated Graph Neural Network (CNFGNN), which bridges the gap between modeling complex spatiotemporal data and decentralized data processing by enabling the use of graph neural networks (GNNs) in the federated learning setting. 5 ConCLUSION We propose Cross-Node Federated Graph Neural Network (CNFGNN) which is bridges the gap between modeling complex spatiotemporal data and decentralized data processing by allowing the use of graph Neural Network (GNNs) in the Federated learning setting。 0.85
We accomplish this by decoupling the learning of local temporal models and the server-side spatial model using alternating optimization of spatial and temporal modules based on split learning and federated averaging. 分割学習とフェデレーション平均化に基づく空間的および時間的モジュールの交互最適化を用いて、局所的時間的モデルとサーバ側空間モデルの学習を分離する。 0.86
Our experimental results on traffic flow prediction on two real-world datasets show superior performance as compared to competing techniques. 実世界の2つのデータセットにおけるトラヒックフロー予測に関する実験結果は,競合手法と比較して優れた性能を示す。 0.65
Our future work includes applying existing GNN models with sampling strategies and integrating them into CNFGNN for large-scale graphs, extending CNFGNN to a fully decentralized framework, and incorporating existing privacy-preserving methods for graph learning to CNFGNN, to enhance federated learning of spatio-temporal dynamics. 今後の作業には,サンプリング戦略を備えた既存のGNNモデルを大規模グラフ用にCNFGNNに統合すること,CNFGNNを完全な分散フレームワークに拡張すること,グラフ学習のための既存のプライバシ保護手法をCNFGNNに統合すること,時空間力学のフェデレーション学習を強化することなどが含まれる。 0.71
ACKNOWLEDGMENTS This work is supported in part by NSF Research Grant IIS-1254206, NSF Research Grant CCF-1837131, and WeWork, granted to coauthor Yan Liu in her academic role at the University of Southern California. ACKNOWLEDGMENTS この研究は、NSF Research Grant IIS-1254206、NSF Research Grant CCF-1837131、およびWeWorkによって部分的に支援されており、共著者のヤン・リューが南カリフォルニア大学での学術的役割を担っている。
訳抜け防止モード: ACKNOWLEDGMENTS NSF Research Grant IIS-1254206によって部分的にサポートされている。 NSF Research Grant CCF-1837131 と WeWork は共著者のヤン・リューに南カリフォルニア大学での学術的役割を与えられた。
0.77
The views and conclusions are those of the authors and should not be interpreted as representing the official policies of the funding agency, or the U.S. Government. 見解と結論は著者の見解であり、資金提供機関または米国政府の公式な政策を表すものとして解釈されるべきではない。 0.69
REFERENCES [1] Alekh Agarwal, Animashree Anandkumar, Prateek Jain, Praneeth Netrapalli, and Rashish Tandon. Alekh Agarwal, Animashree Anandkumar, Prateek Jain, Praneeth Netrapalli, Rashish Tandon を参照。 0.62
2014. Learning sparsely used overcomplete dictionaries. 2014. あまり使われない過剰な辞書を学習する。 0.66
In Conference on Learning Theory. 学習理論に関する会議です 0.76
123–137. [2] Sanjeev Arora, Rong Ge, Tengyu Ma, and Ankur Moitra. 123–137. [2] sanjeev arora, rong ge, tengyu ma, ankur moitra。 0.60
2015. Simple, efficient, 2015. シンプルで効率的です 0.80
and neural algorithms for sparse coding. スパースコーディングのための ニューラルアルゴリズムです 0.72
(2015). [3] Sanjeev Arora, Rong Ge, and Ankur Moitra. (2015). [3]Sanjeev Arora、Rong Ge、Ankur Moitra。 0.73
2014. New algorithms for learning incoherent and overcomplete dictionaries. 2014. 非コヒーレントかつオーバーコンプリートな辞書学習のための新しいアルゴリズム 0.74
In Conference on Learning Theory. 学習理論に関する会議です 0.76
779–806. [4] Omri Azencot, N Benjamin Erichson, Vanessa Lin, and Michael W Mahoney. 779–806. Omri Azencot氏、N Benjamin Erichson氏、Vanessa Lin氏、Michael W Mahoney氏。 0.69
2020. Forecasting sequential data using consistent Koopman autoencoders. 2020. 一貫性のあるクープマンオートエンコーダを用いたシーケンシャルデータの予測 0.74
In ICML. [5] Peter Battaglia, Razvan Pascanu, Matthew Lai, Danilo Jimenez Rezende, et al 2016. ICML。 5] Peter Battaglia, Razvan Pascanu, Matthew Lai, Danilo Jimenez Rezende, et al 2016 0.65
Interaction networks for learning about objects, relations and physics. 物体、関係、物理学を学ぶための相互作用ネットワーク。 0.77
In Advances in neural information processing systems. 神経情報処理システムの進歩です 0.61
4502–4510. 4502–4510. 0.71
[6] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al 2018. Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al 2018。 0.80
Relational inductive biases, deep learning, and graph networks. 関係帰納バイアス、ディープラーニング、グラフネットワーク。 0.46
arXiv preprint arXiv:1806.01261 (2018). arXiv preprint arXiv:1806.01261 (2018)。 0.77
[7] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. [7]Kunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio 0.72
2014. Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. 2014. 統計的機械翻訳のためのRNNエンコーダ-デコーダを用いたフレーズ表現の学習 0.73
In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). 自然言語処理における経験的手法に関する2014年会議(EMNLP)の開催報告 0.79
1724–1734. 1724–1734. 0.71
[8] Will Hamilton, Zhitao Ying, and Jure Leskovec. 9]Will Hamilton、Zhitao Ying、Jure Leskovec。 0.55
2017. Inductive representation learning on large graphs. 2017. 大規模グラフ上の帰納的表現学習 0.77
In Advances in neural information processing systems. 神経情報処理システムの進歩です 0.61
1024–1034. 1024–1034. 0.71
[9] Chaoyang He, Salman Avestimehr, and Murali Annavaram. 9]Chaoyang He, Salman Avestimehr, Murali Annavaram。 0.61
2020. Group Knowledge Transfer: Collaborative Training of Large CNNs on the Edge. 2020. グループ知識伝達: エッジ上の大規模CNNの協調的なトレーニング。 0.80
In Advances in neural information processing systems. 神経情報処理システムの進歩です 0.61
[10] Wenbing Huang, Tong Zhang, Yu Rong, and Junzhou Huang. [10]ウェンビング・フアン、トン・チャン、ユ・ロン、ジュン・フアン。 0.44
2018. Adaptive sampling towards fast graph representation learning. 2018. 高速グラフ表現学習に向けた適応サンプリング 0.81
In Advances in neural information processing systems. 神経情報処理システムの進歩です 0.61
4558–4567. 4558–4567. 0.71
[11] Prateek Jain and Purushottam Kar. [11]Prateek JainとPurushottam Kar。 0.75
2017. Non-convex Optimization for Machine Learning. 2017. 非凸最適化による機械学習 0.79
Foundations and Trends® in Machine Learning 10, 3-4 (2017), 142–363. Foundations and Trends® in Machine Learning 10, 3-4 (2017), 142–363。 0.91
https://doi.org/10.1 561/2200000058 https://doi.org/10.1 561/2200000058 0.34
[12] Peter Kairouz, H Brendan McMahan, Brendan Avent, Aurélien Bellet, Mehdi Bennis, Arjun Nitin Bhagoji, Keith Bonawitz, Zachary Charles, Graham Cormode, Rachel Cummings, et al 2019. Peter Kairouz氏、H Brendan McMahan氏、Brendan Avent氏、Aurelien Bellet氏、Mehdi Bennis氏、Arjun Nitin Bhagoji氏、Keith Bonawitz氏、Zachary Charles氏、Graham Cormode氏、Rachel Cummings氏など。 0.69
Advances and open problems in federated learning. 連合学習における進歩とオープンな問題。 0.67
arXiv preprint arXiv:1912.04977 (2019). arXiv preprint arXiv:1912.04977 (2019)。 0.76
[13] Sai Praneeth Karimireddy, Satyen Kale, Mehryar Mohri, Sashank J Reddi, Sebastian U Stich, and Ananda Theertha Suresh. 13]Sa Sai Praneeth Karimireddy, Satyen Kale, Mehryar Mohri, Sashank J Reddi, Sebastian U Stich, Ananda Theertha Suresh。 0.76
2020. Scaffold: Stochastic controlled averaging for federated learning. 2020. Scaffold: 連邦学習における確率制御平均化。 0.79
In Proceedings of the 37th International Conference on Machine Learning. 第37回機械学習国際会議に参加して 0.69
[14] Thomas N Kipf, Ethan Fetaya, Kuan-Chieh Wang, Max Welling, and Richard S 14]Thomas N Kipf,Ethan Fetaya,Kuan-Chieh Wang,Max Welling,Richard S 0.75
Zemel. 2018. Zemel 2018. 0.68
Neural Relational Inference for Interacting Systems. 相互作用系に対するニューラルリレーショナル推論 0.69
In ICML. [15] Thomas N. Kipf and Max Welling. ICML。 15] トーマス・n・キップとマックス・ウェリング 0.59
2017. Semi-Supervised Classification with Graph Convolutional Networks. 2017. グラフ畳み込みネットワークを用いた半教師付き分類 0.74
In International Conference on Learning Representations (ICLR). 国際学習表現会議(ICLR)に参加。 0.70
[16] Max Guangyu Li, Bo Jiang, Hao Zhu, Zhengping Che, and Yan Liu. [16]Max Guangyu Li、Bo Jiang、Hao Zhu、Zhengping Che、Yan Liu。 0.66
2020. Genera- tive Attention Networks for Multi-Agent Behavioral Modeling.. 2020. 属 マルチエージェント行動モデリングのための tive Attention Networks 0.69
In AAAI. [17] Tian Li, Anit Kumar Sahu, Manzil Zaheer, Maziar Sanjabi, Ameet Talwalkar, and Virginia Smith. AAAI所属。 Tian Li氏、Anit Kumar Sahu氏、Manzil Zaheer氏、Maziar Sanjabi氏、Ameet Talwalkar氏、Virginia Smith氏。 0.68
2020. Federated optimization in heterogeneous networks. 2020. ヘテロジニアスネットワークにおけるフェデレーション最適化 0.75
In Proceedings of the 3rd MLSys Conference. 第3回MLSys会議に参加して 0.62
[18] Yaguang Li, Rose Yu, Cyrus Shahabi, and Yan Liu. [18]ヤガン・リー、ローズ・ユ、キュロス・シャハビ、ヤン・リュー。 0.51
2018. Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting. 2018. Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting 0.86
In International Conference on Learning Representations (ICLR ’18). 国際学習表現会議(ICLR'18)に参加。 0.72
[19] Paul Pu Liang, Terrance Liu, Liu Ziyin, Ruslan Salakhutdinov, and Louis-Philippe Morency. Paul Pu Liang, Terrance Liu, Liu Ziyin, Ruslan Salakhutdinov, Louis-Philippe Morency 0.64
2020. Think locally, act globally: Federated learning with local and global representations. 2020. ローカルに考え、グローバルに行動する: ローカルおよびグローバルな表現によるフェデレーション学習。 0.78
arXiv preprint arXiv:2001.01523 (2020). arXiv preprint arXiv:2001.01523 (2020)。 0.75
[20] Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, and Wanli Ouyang. [20]Ziyu Liu、Hongwen Zhang、Zhenghao Chen、Zhiyong Wang、Wanli Ouyang。 0.65
2020. Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition. 2020. スケルトンに基づく行動認識のためのグラフ畳み込みと統一化 0.76
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE/CVF Conference on Computer Vision and Pattern Recognition に参加して 0.82
143–152. [21] Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Aguera y Arcas. 143–152. Brendan McMahan氏、Eider Moore氏、Daniel Ramage氏、Seth Hampson氏、Blaise Aguera y Arcas氏。 0.71
2017. Communication-effici ent learning of deep networks from decentralized data. 2017. 分散データからのディープネットワークの通信効率学習 0.79
In Artificial Intelligence and Statistics. PMLR, 1273–1282. 人工知能と統計学。 PMLR 1273-1282。 0.70
[22] Guangxu Mei, Ziyu Guo, Shijun Liu, and Li Pan. [22]広角明、Ziyu Guo、Shijun Liu、Li Pan。 0.62
2019. SGNN: A Graph Neural Network Based Federated Learning Approach by Hiding Structure. 2019. SGNN: 構造を隠蔽するグラフニューラルネットワークに基づくフェデレーション学習手法 0.80
In 2019 IEEE International Conference on Big Data (Big Data). 2019年、ieee international conference on big data (big data) を開催。 0.79
IEEE, 2560–2568. IEEE 2560-2568。 0.78
[23] Sina Sajadmanesh and Daniel Gatica-Perez. Sina Sajadmanesh氏とDaniel Gatica-Perez氏。 0.71
2020. When Differential Privacy 2020. プライバシーが違うとき 0.75
Meets Graph Neural Networks. グラフニューラルネットワークです。 0.62
arXiv preprint arXiv:2006.05535 (2020). arXiv preprint arXiv:2006.05535 (2020)。 0.75
[24] Sungyong Seo, Chuizheng Meng, and Yan Liu. [24] スンギョン・ソ、チュイシェン・メン、ヤン・リウ。 0.46
2019. Physics-aware Difference Graph Networks for Sparsely-Observed Dynamics. 2019. スパースオブザーブドダイナミクスのための物理認識差分グラフネットワーク 0.79
In International Conference on Learning Representations. 学習表現に関する国際会議に参加。 0.79
[25] Abhishek Singh, Praneeth Vepakomma, Otkrist Gupta, and Ramesh Raskar. [25]Abhishek Singh, Praneeth Vepakomma, Otkrist Gupta, Ramesh Raskar。 0.73
2019. Detailed comparison of communication efficiency of split learning and federated learning. 2019. 分割学習と連合学習のコミュニケーション効率の詳細な比較 0.82
arXiv preprint arXiv:1909.09145 (2019). arXiv preprint arXiv:1909.09145 (2019) 0.83
[26] Virginia Smith, Chao-Kai Chiang, Maziar Sanjabi, and Ameet S Talwalkar. [26]Virginia Smith、Chao-Kai Chiang、Maziar Sanjabi、そしてAmeet S Talwalkar。 0.83
2017. Federated multi-task learning. 2017. マルチタスク学習のフェデレーション。 0.79
In Advances in Neural Information Processing Systems. 神経情報処理システムの進歩です 0.58
4424–4434. 4424–4434. 0.71
[27] Toyotaro Suzumura, Yi Zhou, Natahalie Barcardo, Guangnan Ye, Keith Houck, Ryo Kawahara, Ali Anwar, Lucia Larise Stavarache, Daniel Klyashtorny, Heiko Ludwig, et al 2019. [27]鈴村豊太郎,Yi Zhou,Natahalie Barcardo, Guangnan Ye, Keith Houck, Ryo Kawahara, Ali Anwar, Lucia Larise Stavarache, Daniel Klyashtorny, Heiko Ludwig, et al 2019。 0.78
Towards Federated Graph Learning for Collaborative Financial Crimes Detection. 協調的犯罪検出のためのグラフ学習に向けて 0.76
arXiv preprint arXiv:1909.12946 (2019). arXiv preprint arXiv:1909.12946 (2019) 0.83
[28] Keyulu Xu, Jingling Li, Mozhi Zhang, Simon S Du, Ken-ichi Kawarabayashi, and Stefanie Jegelka. [28]キール・ク、ジンリング・リ、モジ・チャン、サイモン・スー、河原林健一、ステファニー・ジェルカ。
訳抜け防止モード: [28 ]キール・ク、ジンリング・リー、モジ・チャン、 Simon S Du, Ken - 川原林一、Stefanie Jegelka
0.60
2019. What Can Neural Networks Reason About?. 2019. ニューラルネットワークは何を理にかなっているのか? 0.70
In International Conference on Learning Representations (ICLR). 国際学習表現会議(ICLR)に参加。 0.70
[29] Sijie Yan, Yuanjun Xiong, and Dahua Lin. [29]シジエヤン、Xiong元順、Dahua Lin 0.53
2018. Spatial temporal graph convolu- 2018. 時空間グラフの畳み込み- 0.76
tional networks for skeleton-based action recognition. 骨格に基づく行動認識のためのオプショナルネットワーク。 0.61
In AAAI. [30] Rex Ying, Ruining He, Kaifeng Chen, Pong Eksombatchai, William L Hamilton, and Jure Leskovec. AAAI所属。 [30]Rex Ying, Ruining He, Kaifeng Chen, Pong Eksombatchai, William L Hamilton, Jure Leskovec. 0.69
2018. Graph convolutional neural networks for web-scale recommender systems. 2018. webスケール推薦システムのためのグラフ畳み込みニューラルネットワーク 0.83
In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 第24回ACM SIGKDD国際知識発見・データマイニング会議に参加して 0.68
974–983. [31] Jiaxuan You, Rex Ying, and Jure Leskovec. 974–983. [31]Jixuan You、Rex Ying、Jure Leskovec。 0.66
2019. Position-aware graph neural networks. 2019. 位置対応グラフニューラルネットワーク。 0.81
In Proceedings of the 36th International Conference on Machine Learning. 第36回機械学習国際会議に参加して 0.68
[32] Bing Yu, Haoteng Yin, and Zhanxing Zhu. [32]Bing Yu、Haoteng Yin、Zhanxing Zhu。 0.65
2018. Spatio-temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting. 2018. Spatio-temporal Graph Convolutional Networks: トラフィック予測のためのディープラーニングフレームワーク。 0.83
In Proceedings of the 27th International Joint Conference on Artificial Intelligence (IJCAI). 第27回国際人工知能会議(IJCAI)に参加して 0.59
[33] Jun Zhou, Chaochao Chen, Longfei Zheng, Xiaolin Zheng, Bingzhe Wu, Ziqi Liu, and Li Wang. [33]Jun Zhou、Chaochao Chen、Longfei Zheng、Xiaolin Zheng、Bingzhe Wu、Ziqi Liu、Li Wang。 0.68
2020. Privacy-Preserving Graph Neural Network for Node Classification. 2020. ノード分類のためのプライバシー保護グラフニューラルネットワーク 0.82
arXiv preprint arXiv:2005.11903 (2020). arXiv preprint arXiv:2005.11903 (2020)。 0.76
英語(論文から抽出)日本語訳スコア
Table A1: Table of notations. 表A1: 表記の表。 0.80
Notation G = (V, E) Graph G defined with the set of nodes V 記法 G = (V, E) ノード V の集合で定義されるグラフ G 0.84
Definition X 𝒙𝑖 Y 𝒚𝑖 ˆ𝒚𝑖 定義 X xi Y yi 0.72
𝑅𝑔/𝑅𝑐/𝑅𝑠 (𝑟𝑔) 𝜽 𝐺𝑁 (𝑟𝑔) ¯𝜽 𝑐 𝑅𝑔/𝑅𝑐/𝑅𝑠 (𝑟𝑔) 𝜽 𝐺𝑁 (𝑟𝑔) ¯𝜽 𝑐 0.83
𝒉𝑐,𝑖 𝒉𝐺,𝑐,𝑖 𝒉𝑐,𝑖 𝒉𝐺,𝑐,𝑖 0.85
ℓ𝑖 𝜂𝑠 𝜂𝑐 and the set of edges E. Tensor of node features. ℓ𝑖 𝜂𝑠 𝜂𝑐 エッジのセット E. ノードの特徴のテンソル。 0.77
X ∈ R|V|×.... X ∈ R|V|×。 0.63
Features of the 𝑖-th node. i-th ノードの特徴。 0.78
Tensor of node labels for the task. タスクのノードラベルのテンソル。 0.38
Y ∈ R|V|×.... Labels of the 𝑖-th node. Y ∈ R|V|×.... i 番目のノードのラベル。 0.51
Model prediction output for the 𝑖-th node. i-thノードのモデル予測出力 0.72
Maximum number of global/server/client training rounds. グローバル/サーバ/クライアントトレーニングラウンドの最大数。 0.67
Weights of the server-side Graph Network in the 𝑟𝑔-th global training round. rg-thグローバルトレーニングラウンドにおけるサーバサイドグラフネットワークの重み付け 0.85
Aggregated weights of client models in the 𝑟𝑔-th global training round. rg-thグローバルトレーニングラウンドにおけるクライアントモデルの集約ウェイト。 0.77
Local embedding of the input sequence of the 𝑖-th node. i-thノードの入力シーケンスの局所埋め込み。 0.62
Embedding of the 𝑖-th node propagated with the server-side GN. i-thノードの埋め込みはサーバ側GNで伝播する。 0.73
Loss calculated on the 𝑖-th node. 第iノードで計算した損失。 0.73
(𝑟𝑔) Learning rate for training 𝜽 𝐺𝑁 . (rg) θ gn を訓練するための学習率。 0.66
(𝑟𝑔) Learning rate for training ¯𝜽 . (rg)訓練のための学習率。 0.72
𝑐 A APPENDIX A.1 The Histograms of Data on Different Nodes We show the histograms of traffic speed on different nodes of PEMSBAY and METR-LA in Figure A1 and Figure A2. 𝑐 A APPENDIX A.1 The Histograms of Data on different Nodes We shows the histograms of traffic speed on different node of PEMSBAY and METR-LA in Figure A1 and Figure A2。 0.91
For each dataset, we only show the first 100 nodes ranked by their IDs for simplicity. 各データセットについて、単純さのためにidでランク付けされた最初の100ノードだけを表示する。 0.60
The histograms show that the data distribution varies with nodes, thus data on different nodes are not independent and identically distributed. ヒストグラムは、データの分布がノードによって異なることを示すので、異なるノード上のデータは独立したものではなく、同一に分散している。
訳抜け防止モード: ヒストグラムは、データの分布がノードによって変化することを示している。 異なるノード上のデータは 独立してはおらず
0.70
Figure A1: The histograms of PEMS-BAY data on the first 100 nodes ranked by ID. 図A1: IDでランク付けされた最初の100ノードのPEMS-BAYデータのヒストグラム。 0.73
Figure A2: The histograms of METR-LA data on the first 100 nodes ranked by ID. 図a2:id順にランクづけされた最初の100ノードのmetr-laデータのヒストグラム。 0.60
A.2 Table of Notations Table A1 summarizes notations used in this paper and their definitions. A.2 表記表 A1 はこの論文で使われる表記法とその定義をまとめたものである。 0.61
02040608010210310410 5Node 00204060801021031041 05Node 1020406080103104105N ode 20204060801021031041 05Node 30204060801021031041 05Node 4020406080103104105N ode 50204060801021031041 05Node 60204060801021031041 05Node 70204060801021031041 05Node 8020406080103104105N ode 90204060801021031041 05Node 10020406080102103104 105Node 11020406080102103104 105Node 12020406080102103104 105Node 13020406080102103104 105Node 14020406080102103104 105Node 15020406080102103104 105Node 16020406080102103104 105Node 17020406080102103104 105Node 18020406080102103104 105Node 19020406080102103104 105Node 20020406080102103104 105Node 21020406080102103104 105Node 22020406080102103104 105Node 23020406080102103104 105Node 24020406080102103104 105Node 25020406080102103104 105Node 26020406080102103104 105Node 27020406080102103104 105Node 28020406080102103104 105Node 29020406080102103104 105Node 30020406080103104105 Node 31020406080102103104 105Node 32020406080103104105 Node 33020406080102103104 105Node 34020406080102103104 105Node 35020406080102103104 105Node 36020406080102103104 105Node 37020406080103104105 Node 38020406080102103104 105Node 39020406080102103104 105Node 40020406080102103104 105Node 41020406080102103104 105Node 42020406080102103104 105Node 43020406080103104105 Node 44020406080102103104 105Node 45020406080102103104 105Node 46020406080102103104 105Node 47020406080102103104 105Node 48020406080102103104 105Node 49020406080102103104 105Node 50020406080102103104 105Node 51020406080103104105 Node 52020406080102103104 105Node 53020406080102103104 105Node 54020406080102103104 105Node 55020406080102103104 105Node 56020406080102103104 105Node 57020406080102103104 105Node 58020406080102103104 105Node 59020406080102103104 105Node 60020406080102103104 105Node 61020406080102103104 105Node 62020406080102103104 105Node 63020406080102103104 105Node 64020406080102103104 105Node 65020406080103104105 Node 66020406080102103104 105Node 67020406080102103104 105Node 68020406080103104105 Node 69020406080102103104 105Node 70020406080102103104 105Node 71020406080102103104 105Node 72020406080102103104 105Node 73020406080102103104 105Node 74020406080102103104 105Node 75020406080102103104 105Node 76020406080102103104 105Node 77020406080102103104 105Node 78020406080103104105 Node 79020406080102103104 105Node 80020406080102103104 105Node 81020406080103104105 Node 82020406080103104105 Node 83020406080103104105 Node 84020406080102103104 105Node 85020406080102103104 105Node 86020406080102103104 105Node 87020406080102103104 105Node 88020406080102103104 105Node 89020406080103104105 Node 90020406080102103104 105Node 91020406080102103104 105Node 92020406080102103104 105Node 93020406080102103104 105Node 94020406080102103104 105Node 95020406080102103104 105Node 96020406080102103104 105Node 97020406080102103104 105Node 98020406080102103104 105Node 99020406080102103104 105Node 00204060801021031041 05Node 10204060801021031041 05Node 2020406080103104Node 3020406080103104Node 4020406080102103104N ode 50204060801021031041 05Node 60204060801021031041 05Node 70204060801021031041 05Node 80204060801021031041 05Node 90204060801021031041 05Node 10020406080102103104 105Node 11020406080103104105 Node 12020406080102103104 105Node 13020406080102103104 105Node 14020406080102103104 Node 15020406080102103104 105Node 16020406080102103104 105Node 17020406080102103104 Node 18020406080102103104 105Node 19020406080102103104 105Node 20020406080102103104 105Node 21020406080102103104 105Node 22020406080103104Nod e 23020406080102103104 105Node 24020406080102103104 105Node 25020406080102103104 Node 26020406080102103104 105Node 27020406080102103104 105Node 28020406080102103104 105Node 29020406080102103104 105Node 30020406080102103104 105Node 31020406080102103104 105Node 32020406080102103104 Node 33020406080102103104 105Node 34020406080102103104 105Node 35020406080102103104 105Node 36020406080102103104 105Node 37020406080103104Nod e 38020406080102103104 105Node 39020406080102103104 105Node 40020406080103104105 Node 41020406080102103104 105Node 42020406080102103104 105Node 43020406080102103104 105Node 44020406080102103104 105Node 45020406080102103104 105Node 46020406080102103104 Node 47020406080102103104 105Node 48020406080102103104 105Node 49020406080102103104 105Node 50020406080102103104 Node 51020406080102103104 105Node 52020406080102103104 Node 53020406080102103104 105Node 54020406080102103104 105Node 55020406080102103104 Node 56020406080102103104 105Node 57020406080102103104 105Node 58020406080102103104 105Node 59020406080102103104 105Node 60020406080102103104 Node 61020406080103104Nod e 62020406080102103104 105Node 63020406080102103104 105Node 64020406080102103104 105Node 65020406080102103104 105Node 66020406080102103104 105Node 67020406080102103104 105Node 68020406080102103104 105Node 69020406080102103104 105Node 70020406080102103104 105Node 71020406080103104Nod e 72020406080102103104 105Node 73020406080102103104 105Node 74020406080102103104 105Node 75020406080102103104 Node 76020406080103104105 Node 77020406080102103104 105Node 78020406080102103104 105Node 79020406080102103104 105Node 80020406080102103104 Node 81020406080102103104 105Node 82020406080102103104 105Node 83020406080102103104 105Node 84020406080102103104 105Node 85020406080102103104 105Node 86020406080102103104 105Node 87020406080102103104 105Node 88020406080102103104 105Node 89020406080102103104 105Node 90020406080101102103 104Node 91020406080102103104 105Node 92020406080102103104 105Node 93020406080102103104 105Node 94020406080102103104 Node 95020406080102103104 105Node 96020406080102103104 105Node 97020406080102103104 105Node 98020406080102103104 105Node 99 02040608010210310410 5Node 00204060801021031041 05Node 1020406080103104105N ode 20204060801021031041 05Node 30204060801021031041 05Node 4020406080103104105N ode 50204060801021031041 05Node 60204060801021031041 05Node 70204060801021031041 05Node 8020406080103104105N ode 90204060801021031041 05Node 10020406080102103104 105Node 11020406080102103104 105Node 12020406080102103104 105Node 13020406080102103104 105Node 14020406080102103104 105Node 15020406080102103104 105Node 16020406080102103104 105Node 17020406080102103104 105Node 18020406080102103104 105Node 19020406080102103104 105Node 20020406080102103104 105Node 21020406080102103104 105Node 22020406080102103104 105Node 23020406080102103104 105Node 24020406080102103104 105Node 25020406080102103104 105Node 26020406080102103104 105Node 27020406080102103104 105Node 28020406080102103104 105Node 29020406080102103104 105Node 30020406080103104105 Node 31020406080102103104 105Node 32020406080103104105 Node 33020406080102103104 105Node 34020406080102103104 105Node 35020406080102103104 105Node 36020406080102103104 105Node 37020406080103104105 Node 38020406080102103104 105Node 39020406080102103104 105Node 40020406080102103104 105Node 41020406080102103104 105Node 42020406080102103104 105Node 43020406080103104105 Node 44020406080102103104 105Node 45020406080102103104 105Node 46020406080102103104 105Node 47020406080102103104 105Node 48020406080102103104 105Node 49020406080102103104 105Node 50020406080102103104 105Node 51020406080103104105 Node 52020406080102103104 105Node 53020406080102103104 105Node 54020406080102103104 105Node 55020406080102103104 105Node 56020406080102103104 105Node 57020406080102103104 105Node 58020406080102103104 105Node 59020406080102103104 105Node 60020406080102103104 105Node 61020406080102103104 105Node 62020406080102103104 105Node 63020406080102103104 105Node 64020406080102103104 105Node 65020406080103104105 Node 66020406080102103104 105Node 67020406080102103104 105Node 68020406080103104105 Node 69020406080102103104 105Node 70020406080102103104 105Node 71020406080102103104 105Node 72020406080102103104 105Node 73020406080102103104 105Node 74020406080102103104 105Node 75020406080102103104 105Node 76020406080102103104 105Node 77020406080102103104 105Node 78020406080103104105 Node 79020406080102103104 105Node 80020406080102103104 105Node 81020406080103104105 Node 82020406080103104105 Node 83020406080103104105 Node 84020406080102103104 105Node 85020406080102103104 105Node 86020406080102103104 105Node 87020406080102103104 105Node 88020406080102103104 105Node 89020406080103104105 Node 90020406080102103104 105Node 91020406080102103104 105Node 92020406080102103104 105Node 93020406080102103104 105Node 94020406080102103104 105Node 95020406080102103104 105Node 96020406080102103104 105Node 97020406080102103104 105Node 98020406080102103104 105Node 99020406080102103104 105Node 00204060801021031041 05Node 10204060801021031041 05Node 2020406080103104Node 3020406080103104Node 4020406080102103104N ode 50204060801021031041 05Node 60204060801021031041 05Node 70204060801021031041 05Node 80204060801021031041 05Node 90204060801021031041 05Node 10020406080102103104 105Node 11020406080103104105 Node 12020406080102103104 105Node 13020406080102103104 105Node 14020406080102103104 Node 15020406080102103104 105Node 16020406080102103104 105Node 17020406080102103104 Node 18020406080102103104 105Node 19020406080102103104 105Node 20020406080102103104 105Node 21020406080102103104 105Node 22020406080103104Nod e 23020406080102103104 105Node 24020406080102103104 105Node 25020406080102103104 Node 26020406080102103104 105Node 27020406080102103104 105Node 28020406080102103104 105Node 29020406080102103104 105Node 30020406080102103104 105Node 31020406080102103104 105Node 32020406080102103104 Node 33020406080102103104 105Node 34020406080102103104 105Node 35020406080102103104 105Node 36020406080102103104 105Node 37020406080103104Nod e 38020406080102103104 105Node 39020406080102103104 105Node 40020406080103104105 Node 41020406080102103104 105Node 42020406080102103104 105Node 43020406080102103104 105Node 44020406080102103104 105Node 45020406080102103104 105Node 46020406080102103104 Node 47020406080102103104 105Node 48020406080102103104 105Node 49020406080102103104 105Node 50020406080102103104 Node 51020406080102103104 105Node 52020406080102103104 Node 53020406080102103104 105Node 54020406080102103104 105Node 55020406080102103104 Node 56020406080102103104 105Node 57020406080102103104 105Node 58020406080102103104 105Node 59020406080102103104 105Node 60020406080102103104 Node 61020406080103104Nod e 62020406080102103104 105Node 63020406080102103104 105Node 64020406080102103104 105Node 65020406080102103104 105Node 66020406080102103104 105Node 67020406080102103104 105Node 68020406080102103104 105Node 69020406080102103104 105Node 70020406080102103104 105Node 71020406080103104Nod e 72020406080102103104 105Node 73020406080102103104 105Node 74020406080102103104 105Node 75020406080102103104 Node 76020406080103104105 Node 77020406080102103104 105Node 78020406080102103104 105Node 79020406080102103104 105Node 80020406080102103104 Node 81020406080102103104 105Node 82020406080102103104 105Node 83020406080102103104 105Node 84020406080102103104 105Node 85020406080102103104 105Node 86020406080102103104 105Node 87020406080102103104 105Node 88020406080102103104 105Node 89020406080102103104 105Node 90020406080101102103 104Node 91020406080102103104 105Node 92020406080102103104 105Node 93020406080102103104 105Node 94020406080102103104 Node 95020406080102103104 105Node 96020406080102103104 105Node 97020406080102103104 105Node 98020406080102103104 105Node 99 0.59
                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。