論文の概要: WawPart: Workload-Aware Partitioning of Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2203.14888v1
- Date: Mon, 28 Mar 2022 16:45:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 17:41:54.658539
- Title: WawPart: Workload-Aware Partitioning of Knowledge Graphs
- Title（参考訳）: WawPart: 知識グラフの作業負荷対応分割
- Authors: Amitabh Priyadarshi, Krzysztof J. Kochut
- Abstract要約: 知識グラフという形での大規模なデータセットは、多くのドメインでよく使用される。
知識グラフは複数のサブグラフに分割でき、多くの計算ノード間でシャードとして分散される。
これは、パーティションを横断するグラフエッジによって管理される分散結合が原因である。
本稿では,一組のクエリを考慮した知識グラフ分割手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale datasets in the form of knowledge graphs are often used in
numerous domains, today. A knowledge graphs size often exceeds the capacity of
a single computer system, especially if the graph must be stored in main
memory. To overcome this, knowledge graphs can be partitioned into multiple
sub-graphs and distributed as shards among many computing nodes. However,
performance of many common tasks performed on graphs, such as querying,
suffers, as a result. This is due to distributed joins mandated by graph edges
crossing (cutting) the partitions. In this paper, we propose a method of
knowledge graph partitioning that takes into account a set of queries
(workload). The resulting partitioning aims to reduces the number of
distributed joins and improve the workload performance. Critical features
identified in the query workload and the knowledge graph are used to cluster
the queries and then partition the graph. Queries are rewritten to account for
the graph partitioning. Our evaluation results demonstrate the performance
improvement in workload processing time.
- Abstract（参考訳）: 知識グラフという形での大規模なデータセットは、今日では多くのドメインでよく使われている。
ナレッジグラフのサイズはしばしば単一のコンピュータシステムの容量を超え、特にグラフをメインメモリに保存しなければならない場合である。
これを克服するために、知識グラフを複数のサブグラフに分割し、多くの計算ノードにシャードとして分散することができる。
しかしながら、クエリなどのグラフ上で実行される多くの共通タスクのパフォーマンスは、結果として低下する。
これは分割を横断(切断)するグラフエッジによって要求される分散結合に起因する。
本稿では,一連のクエリ(作業負荷)を考慮した知識グラフ分割手法を提案する。
結果として生じる分割は、分散結合の数を減らし、ワークロードパフォーマンスを改善することを目的としている。
クエリワークロードとナレッジグラフで識別される重要な機能は、クエリをクラスタ化し、グラフを分割するために使用される。
クエリはグラフのパーティショニングを考慮して書き直される。
評価結果は,ワークロード処理時間の性能改善を示す。
関連論文リスト
- Selective Parallel Loading of Large-Scale Compressed Graphs with ParaGrapher [3.298283787389057]
ParaGrapherは、大規模および圧縮されたグラフをロードするための高性能なAPIとライブラリである。
本稿ではParaGrapherの設計とグラフ圧縮の性能モデルを提案する。
評価の結果,ParaGrapherはロード時の最大3.2倍,エンドツーエンド実行時の最大5.2倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2024-04-30T17:31:25Z) - Graph Parsing Networks [64.5041886737007]
本稿では,効率的なグラフ解析アルゴリズムを提案する。
結果として得られるグラフパーシングネットワーク(GPN)は、個々のグラフに対してパーソナライズされたプーリング構造を適応的に学習する。
論文 参考訳（メタデータ） (2024-02-22T09:08:36Z) - HUGE: Huge Unsupervised Graph Embeddings with TPUs [6.108914274067702]
グラフ埋め込み(Graph Embedding)は、グラフ内のノードを連続的に表現するプロセスである。
高帯域幅メモリを利用した高性能グラフ埋め込みアーキテクチャを提案する。
実・合成大規模データセット上での埋め込み空間の品質を検証する。
論文 参考訳（メタデータ） (2023-07-26T20:29:15Z) - Neural Graph Reasoning: Complex Logical Query Answering Meets Graph
Databases [63.96793270418793]
複雑な論理クエリ応答(CLQA)は、グラフ機械学習の最近登場したタスクである。
ニューラルグラフデータベース(NGDB)の概念を紹介する。
NGDBはNeural Graph StorageとNeural Graph Engineで構成されている。
論文 参考訳（メタデータ） (2023-03-26T04:03:37Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳（メタデータ） (2023-01-14T09:15:49Z) - AWAPart: Adaptive Workload-Aware Partitioning of Knowledge Graphs [0.0]
大規模知識グラフは、多くの領域でますます一般的になっている。
これらの断片化されたサブグラフのクエリは、通信コストの増加など、新たな課題を引き起こす。
本稿では,大規模知識グラフの適応分割手法を提案する。
論文 参考訳（メタデータ） (2022-03-28T16:41:27Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳（メタデータ） (2022-03-05T00:28:43Z) - Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。
クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
論文 参考訳（メタデータ） (2021-09-24T08:01:23Z) - About Graph Degeneracy, Representation Learning and Scalability [2.029783382155471]
ウォークベースグラフ表現学習アルゴリズムの時間とメモリ消費を削減するために,Kコア分解を利用した2つの手法を提案する。
提案手法の有効性を,いくつかの学術的データセットを用いて評価した。
論文 参考訳（メタデータ） (2020-09-04T09:39:43Z) - MxPool: Multiplex Pooling for Hierarchical Graph Representation Learning [7.456657747472885]
本稿では,複数のグラフ畳み込み/プールネットワークを同時に利用して,グラフ表現学習タスクの階層的学習構造を構築するMxPoolを提案する。
多数のグラフ分類ベンチマーク実験により、MxPoolは他の最先端グラフ表現学習法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-04-15T01:05:29Z) - Deep Learning for Learning Graph Representations [58.649784596090385]
グラフデータのマイニングはコンピュータ科学においてポピュラーな研究トピックとなっている。
ネットワークデータの膨大な量は、効率的な分析に大きな課題をもたらしている。
これはグラフ表現の出現を動機付け、グラフを低次元ベクトル空間にマッピングする。
論文 参考訳（メタデータ） (2020-01-02T02:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。