論文の概要: AWAPart: Adaptive Workload-Aware Partitioning of Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2203.14884v1
- Date: Mon, 28 Mar 2022 16:41:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 18:45:21.985055
- Title: AWAPart: Adaptive Workload-Aware Partitioning of Knowledge Graphs
- Title(参考訳): AWA Part:知識グラフのアダプティブなワークロード対応分割
- Authors: Amitabh Priyadarshi, Krzysztof J. Kochut
- Abstract要約: 大規模知識グラフは、多くの領域でますます一般的になっている。
これらの断片化されたサブグラフのクエリは、通信コストの増加など、新たな課題を引き起こす。
本稿では,大規模知識グラフの適応分割手法を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale knowledge graphs are increasingly common in many domains. Their
large sizes often exceed the limits of systems storing the graphs in a
centralized data store, especially if placed in main memory. To overcome this,
large knowledge graphs need to be partitioned into multiple sub-graphs and
placed in nodes in a distributed system. But querying these fragmented
sub-graphs poses new challenges, such as increased communication costs, due to
distributed joins involving cut edges. To combat these problems, a good
partitioning should reduce the edge cuts while considering a given query
workload. However, a partitioned graph needs to be continually re-partitioned
to accommodate changes in the query workload and maintain a good average
processing time. In this paper, an adaptive partitioning method for large-scale
knowledge graphs is introduced, which adapts the partitioning in response to
changes in the query workload. Our evaluation demonstrates that the performance
of processing time for queries is improved after dynamically adapting the
partitioning of knowledge graph triples.
- Abstract(参考訳): 大規模知識グラフは多くの領域でますます一般的になっている。
その大きなサイズは、特にメインメモリに配置された場合、集中型データストアにグラフを格納するシステムの限界を超えることが多い。
これを解決するには、大規模な知識グラフを複数のサブグラフに分割し、分散システムのノードに配置する必要がある。
しかし、これらの断片化されたサブグラフのクエリは、切断エッジを含む分散結合による通信コストの増加など、新たな課題を引き起こす。
これらの問題に対処するため、優れたパーティショニングは、与えられたクエリのワークロードを考慮してエッジカットを減らす必要がある。
しかし、分割されたグラフは、クエリのワークロードの変更に対応し、平均処理時間を維持するために、継続的に再分割する必要がある。
本稿では,大規模知識グラフに対する適応的分割手法を導入し,クエリ処理量の変化に応じて分割を適応させる。
本評価では,知識グラフトリプルの分割を動的に適応することで,クエリの処理時間の性能が向上することを示す。
関連論文リスト
- Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳(メタデータ) (2024-01-12T17:57:07Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳(メタデータ) (2023-08-06T21:04:58Z) - Co-attention Graph Pooling for Efficient Pairwise Graph Interaction
Learning [19.58671020943416]
グラフニューラルネットワーク(GNN)は、グラフ構造化データからの処理と学習に有効であることが証明されている。
グラフプーリングにおけるコアテンションを用いた相互作用表現抽出のための,新しい,効率的なグラフレベルアプローチを提案する。
筆者らの手法であるCAGPool(Co-Attention Graph Pooling)は,従来の手法と比較して,分類処理と回帰処理の両面での競合性能を示す。
論文 参考訳(メタデータ) (2023-07-28T07:53:34Z) - Deep Temporal Graph Clustering [80.88296658121976]
深部時間グラフクラスタリング(GC)のための汎用フレームワークを提案する。
GCは、時間グラフの相互作用シーケンスに基づくバッチ処理パターンに適合するディープクラスタリング技術を導入している。
我々のフレームワークは、既存の時間グラフ学習手法の性能を効果的に向上させることができる。
論文 参考訳(メタデータ) (2023-05-18T06:17:50Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-09T17:51:13Z) - Scene Graph Modification as Incremental Structure Expanding [61.84291817776118]
本研究では,既存のシーングラフを自然言語クエリに基づいて更新する方法を学習するために,シーングラフ修正(SGM)に注目した。
インクリメンタル構造拡張(ISE)の導入によるグラフ拡張タスクとしてのSGM
既存のデータセットよりも複雑なクエリと大きなシーングラフを含む、挑戦的なデータセットを構築します。
論文 参考訳(メタデータ) (2022-09-15T16:26:14Z) - WawPart: Workload-Aware Partitioning of Knowledge Graphs [0.0]
知識グラフという形での大規模なデータセットは、多くのドメインでよく使用される。
知識グラフは複数のサブグラフに分割でき、多くの計算ノード間でシャードとして分散される。
これは、パーティションを横断するグラフエッジによって管理される分散結合が原因である。
本稿では,一組のクエリを考慮した知識グラフ分割手法を提案する。
論文 参考訳(メタデータ) (2022-03-28T16:45:39Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳(メタデータ) (2022-03-05T00:28:43Z) - Enhancing Balanced Graph Edge Partition with Effective Local Search [41.4257628524592]
グラフパーティションは、ワークロードバランスを達成し、並列グラフ処理システムにおけるジョブ完了時間を短縮するための重要なコンポーネントです。
本稿では,本問題の局所探索アルゴリズムについて検討し,既存の手法による分割結果をさらに改善する。
論文 参考訳(メタデータ) (2020-12-17T08:58:06Z) - Distributed Training of Graph Convolutional Networks using Subgraph
Approximation [72.89940126490715]
本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。
サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
論文 参考訳(メタデータ) (2020-12-09T09:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。