論文の概要: SMORE: Knowledge Graph Completion and Multi-hop Reasoning in Massive Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2110.14890v1
• Date: Thu, 28 Oct 2021 05:02:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 14:51:51.096090
• Title: SMORE: Knowledge Graph Completion and Multi-hop Reasoning in Massive Knowledge Graphs
• Title（参考訳）: SMORE:大規模知識グラフにおける知識グラフ補完とマルチホップ推論
• Authors: Hongyu Ren, Hanjun Dai, Bo Dai, Xinyun Chen, Denny Zhou, Jure Leskovec, Dale Schuurmans
• Abstract要約: 我々は、知識グラフ(KG)におけるシングルホップおよびマルチホップ推論のための最初の汎用フレームワークであるスケーラブルなマルチホップ推論(SMORE)を提案する。 シングルマシンのSMOREはFreebase KG(86Mエンティティ、338Mエッジ)でマルチホップ推論を行うことができる。 SMOREは、従来のマルチホップKGフレームワークよりもスループット(トレーニング速度)を、最小のGPUメモリ要件で2.2倍向上させる。
• 参考スコア（独自算出の注目度）: 147.73127662757335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs (KGs) capture knowledge in the form of head--relation--tail triples and are a crucial component in many AI systems. There are two important reasoning tasks on KGs: (1) single-hop knowledge graph completion, which involves predicting individual links in the KG; and (2), multi-hop reasoning, where the goal is to predict which KG entities satisfy a given logical query. Embedding-based methods solve both tasks by first computing an embedding for each entity and relation, then using them to form predictions. However, existing scalable KG embedding frameworks only support single-hop knowledge graph completion and cannot be applied to the more challenging multi-hop reasoning task. Here we present Scalable Multi-hOp REasoning (SMORE), the first general framework for both single-hop and multi-hop reasoning in KGs. Using a single machine SMORE can perform multi-hop reasoning in Freebase KG (86M entities, 338M edges), which is 1,500x larger than previously considered KGs. The key to SMORE's runtime performance is a novel bidirectional rejection sampling that achieves a square root reduction of the complexity of online training data generation. Furthermore, SMORE exploits asynchronous scheduling, overlapping CPU-based data sampling, GPU-based embedding computation, and frequent CPU--GPU IO. SMORE increases throughput (i.e., training speed) over prior multi-hop KG frameworks by 2.2x with minimal GPU memory requirements (2GB for training 400-dim embeddings on 86M-node Freebase) and achieves near linear speed-up with the number of GPUs. Moreover, on the simpler single-hop knowledge graph completion task SMORE achieves comparable or even better runtime performance to state-of-the-art frameworks on both single GPU and multi-GPU settings.
• Abstract（参考訳）: 知識グラフ(KG)は、頭-リレーション-テールトリプルという形で知識をキャプチャし、多くのAIシステムにおいて重要なコンポーネントである。 kgには2つの重要な推論タスクがある:(1) kg内の個々のリンクを予測することを含む単一ホップナレッジグラフ補完;(2)与えられた論理クエリをどのkgエンティティが満足するかを予測することを目的としたマルチホップ推論。 埋め込みベースのメソッドは、まず各エンティティとリレーションの埋め込みを計算し、それからそれらを予測を形成することで、両方のタスクを解決します。 しかし、既存のスケーラブルなkg埋め込みフレームワークはシングルホップのナレッジグラフ補完のみをサポートし、より難しいマルチホップ推論タスクには適用できない。 ここでは、KGにおけるシングルホップおよびマルチホップ推論のための最初の一般的なフレームワークである、スケーラブルなマルチホップ推論(SMORE)を紹介する。 単一のマシンを使用することで、smoreは以前考えられていたkgsよりも1500倍大きいfreebase kg (86mエンティティ、338mエッジ)でマルチホップ推論を行うことができる。 SMOREのランタイム性能の鍵となるのは、オンライントレーニングデータ生成の複雑さの平方根還元を実現する、新しい双方向の拒絶サンプリングである。 さらに、SMOREは非同期スケジューリング、CPUベースのデータサンプリング、GPUベースの埋め込み計算、頻繁なCPU-GPU IOを利用する。 SMOREは、従来のマルチホップKGフレームワークよりもスループット(トレーニング速度)を2.2倍に向上し、最小のGPUメモリ要件(86M-node Freebase上の400ディム埋め込みをトレーニングする2GB)を達成し、GPU数のほぼ線形スピードアップを達成する。 さらに、シンプルなシングルホップナレッジグラフ補完タスクであるSMOREでは、単一のGPUとマルチGPU設定の両方の最先端フレームワークと同等あるいはそれ以上のランタイムパフォーマンスを実現している。

関連論文リスト

• A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning [17.676185326247946]
  そこで本研究では,テキスト内学習,すなわちKG-ICLを介し,プロンプトに基づくKGファウンデーションモデルを提案する。 クエリにおけるエンティティや関係を発見できないような一般化機能を備えたプロンプトグラフを符号化するために,まず統一トークン化器を提案する。 そこで我々は,プロンプトエンコーディングとKG推論を行う2つのメッセージパッシングニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T06:47:18Z)
• Efficient Parallel Multi-Hop Reasoning: A Scalable Approach for Knowledge Graph Analysis [0.0]
  マルチホップ推論(MHR)は様々な応用において重要な機能である。 本稿では,大規模グラフ上での時間効率の最適化に焦点をあてる。 ドメイン固有の学習埋め込みを利用する新しい並列アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:12:34Z)
• Less is More: Hop-Wise Graph Attention for Scalable and Generalizable Learning on Circuits [12.468913984721018]
  HOGAは、スケーラブルで一般化可能な方法で回路表現を学習するための新しいアテンションベースモデルである。 その結果、HOGAは様々な回路の様々な構造に適応し、分散的に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-03-02T21:33:23Z)
• Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
  本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。 クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。 我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
  論文  参考訳（メタデータ） (2023-01-21T02:34:06Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• SQUIRE: A Sequence-to-sequence Framework for Multi-hop Knowledge Graph Reasoning [21.53970565708247]
  トリプルクエリを与えられたマルチホップ推論タスクは、推論プロセスを示す明確なパスを提供することを目的としている。 SQUIREはSequence-to-Sequenceベースのマルチホップ推論フレームワークである。
  論文  参考訳（メタデータ） (2022-01-17T04:22:54Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• KACC: A Multi-task Benchmark for Knowledge Abstraction, Concretization and Completion [99.47414073164656]
  包括的知識グラフ(KG)は、インスタンスレベルのエンティティグラフとオントロジーレベルの概念グラフを含む。 2ビューのKGは、知識の抽象化、包括化、完成に関する人間の能力を「シミュレーション」するためのモデルのためのテストベッドを提供する。 我々は,データセットのスケール,タスクカバレッジ,難易度の観点から,既存のベンチマークを改善した統一KGベンチマークを提案する。
  論文  参考訳（メタデータ） (2020-04-28T16:21:57Z)
• Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms [1.3249453757295084]
  ヘテロジニアスCPU+GPUアーキテクチャの深層学習のためのトレーニングアルゴリズムについて検討する。 私たちの2倍の目標 -- 収束率と資源利用を同時に最大化する -- は、この問題を難しくします。 これらのアルゴリズムの実装は,複数の実データセットよりも高速な収束と資源利用の両立を実現していることを示す。
  論文  参考訳（メタデータ） (2020-04-19T05:21:20Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。