論文の概要: AWAPart: Adaptive Workload-Aware Partitioning of Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2203.14884v1
- Date: Mon, 28 Mar 2022 16:41:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 18:45:21.985055
- Title: AWAPart: Adaptive Workload-Aware Partitioning of Knowledge Graphs
- Title（参考訳）: AWA Part:知識グラフのアダプティブなワークロード対応分割
- Authors: Amitabh Priyadarshi, Krzysztof J. Kochut
- Abstract要約: 大規模知識グラフは、多くの領域でますます一般的になっている。
これらの断片化されたサブグラフのクエリは、通信コストの増加など、新たな課題を引き起こす。
本稿では,大規模知識グラフの適応分割手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale knowledge graphs are increasingly common in many domains. Their
large sizes often exceed the limits of systems storing the graphs in a
centralized data store, especially if placed in main memory. To overcome this,
large knowledge graphs need to be partitioned into multiple sub-graphs and
placed in nodes in a distributed system. But querying these fragmented
sub-graphs poses new challenges, such as increased communication costs, due to
distributed joins involving cut edges. To combat these problems, a good
partitioning should reduce the edge cuts while considering a given query
workload. However, a partitioned graph needs to be continually re-partitioned
to accommodate changes in the query workload and maintain a good average
processing time. In this paper, an adaptive partitioning method for large-scale
knowledge graphs is introduced, which adapts the partitioning in response to
changes in the query workload. Our evaluation demonstrates that the performance
of processing time for queries is improved after dynamically adapting the
partitioning of knowledge graph triples.
- Abstract（参考訳）: 大規模知識グラフは多くの領域でますます一般的になっている。
その大きなサイズは、特にメインメモリに配置された場合、集中型データストアにグラフを格納するシステムの限界を超えることが多い。
これを解決するには、大規模な知識グラフを複数のサブグラフに分割し、分散システムのノードに配置する必要がある。
しかし、これらの断片化されたサブグラフのクエリは、切断エッジを含む分散結合による通信コストの増加など、新たな課題を引き起こす。
これらの問題に対処するため、優れたパーティショニングは、与えられたクエリのワークロードを考慮してエッジカットを減らす必要がある。
しかし、分割されたグラフは、クエリのワークロードの変更に対応し、平均処理時間を維持するために、継続的に再分割する必要がある。
本稿では,大規模知識グラフに対する適応的分割手法を導入し,クエリ処理量の変化に応じて分割を適応させる。
本評価では,知識グラフトリプルの分割を動的に適応することで,クエリの処理時間の性能が向上することを示す。
関連論文リスト
- Instance-Aware Graph Prompt Learning [71.26108600288308]
本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。
このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。
複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-11-26T18:38:38Z) - MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - Task-Oriented Communication for Graph Data: A Graph Information Bottleneck Approach [12.451324619122405]
本稿では,コミュニケーションのオーバーヘッドを低減しつつ,鍵情報を保持するタスク中心のより小さなサブグラフを抽出する手法を提案する。
提案手法では,グラフニューラルネットワーク(GNN)とグラフ情報ボトルネック(GIB)の原理を用いて,伝達に適したコンパクトで情報的,堅牢なグラフ表現を生成する。
論文 参考訳（メタデータ） (2024-09-04T14:01:56Z) - FastGAS: Fast Graph-based Annotation Selection for In-Context Learning [53.17606395275021]
インコンテキスト学習(ICL)は、大規模言語モデル(LLM)に対して、一連のトレーニングインスタンスをプロンプトとして使用することにより、新しいタスクに対処する権限を与える。
既存の手法では、アノテーションのラベルなし例のサブセットを選択する方法が提案されている。
本稿では,高品質なインスタンスを効率的に識別するグラフベースの選択手法であるFastGASを提案する。
論文 参考訳（メタデータ） (2024-06-06T04:05:54Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳（メタデータ） (2023-08-06T21:04:58Z) - Deep Temporal Graph Clustering [77.02070768950145]
深部時間グラフクラスタリング(GC)のための汎用フレームワークを提案する。
GCは、時間グラフの相互作用シーケンスに基づくバッチ処理パターンに適合するディープクラスタリング技術を導入している。
我々のフレームワークは、既存の時間グラフ学習手法の性能を効果的に向上させることができる。
論文 参考訳（メタデータ） (2023-05-18T06:17:50Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - WawPart: Workload-Aware Partitioning of Knowledge Graphs [0.0]
知識グラフという形での大規模なデータセットは、多くのドメインでよく使用される。
知識グラフは複数のサブグラフに分割でき、多くの計算ノード間でシャードとして分散される。
これは、パーティションを横断するグラフエッジによって管理される分散結合が原因である。
本稿では,一組のクエリを考慮した知識グラフ分割手法を提案する。
論文 参考訳（メタデータ） (2022-03-28T16:45:39Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳（メタデータ） (2022-03-05T00:28:43Z) - Enhancing Balanced Graph Edge Partition with Effective Local Search [41.4257628524592]
グラフパーティションは、ワークロードバランスを達成し、並列グラフ処理システムにおけるジョブ完了時間を短縮するための重要なコンポーネントです。
本稿では,本問題の局所探索アルゴリズムについて検討し,既存の手法による分割結果をさらに改善する。
論文 参考訳（メタデータ） (2020-12-17T08:58:06Z) - Distributed Training of Graph Convolutional Networks using Subgraph
Approximation [72.89940126490715]
本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。
サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
論文 参考訳（メタデータ） (2020-12-09T09:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。