論文の概要: Scalable Feature Learning on Huge Knowledge Graphs for Downstream Machine Learning

• arxiv url: http://arxiv.org/abs/2507.00965v1
• Date: Tue, 01 Jul 2025 17:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.747554
• Title: Scalable Feature Learning on Huge Knowledge Graphs for Downstream Machine Learning
• Title（参考訳）: 下流機械学習のための巨大な知識グラフによるスケーラブルな特徴学習
• Authors: Félix Lefebvre, Gaël Varoquaux,
• Abstract要約: 埋め込み法は、外部知識を準備可能なベクトル表現に蒸留するのに使用することができる。 現在のモデルは主にリンク予測に最適化されている。 彼らはGPUメモリの限界のために、最大のグラフにスケールするのに苦労している。 SEPALは、ダウンストリームタスクを大規模に行うための高品質な埋め込みである。
• 参考スコア（独自算出の注目度）: 9.17424462858218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine learning tasks can benefit from external knowledge. Large knowledge graphs store such knowledge, and embedding methods can be used to distill it into ready-to-use vector representations for downstream applications. For this purpose, current models have however two limitations: they are primarily optimized for link prediction, via local contrastive learning, and they struggle to scale to the largest graphs due to GPU memory limits. To address these, we introduce SEPAL: a Scalable Embedding Propagation ALgorithm for large knowledge graphs designed to produce high-quality embeddings for downstream tasks at scale. The key idea of SEPAL is to enforce global embedding alignment by optimizing embeddings only on a small core of entities, and then propagating them to the rest of the graph via message passing. We evaluate SEPAL on 7 large-scale knowledge graphs and 46 downstream machine learning tasks. Our results show that SEPAL significantly outperforms previous methods on downstream tasks. In addition, SEPAL scales up its base embedding model, enabling fitting huge knowledge graphs on commodity hardware.
• Abstract（参考訳）: 多くの機械学習タスクは、外部知識の恩恵を受けることができる。 大規模な知識グラフはそのような知識を格納し、下流アプリケーションのための準備の整ったベクトル表現に埋め込む方法を用いることができる。 この目的のために、現在のモデルには2つの制限がある。主に、局所的なコントラスト学習を通じてリンク予測に最適化されており、GPUメモリの限界のために最大のグラフにスケールするのに苦労している。 そこで我々はSEPALを紹介した。 SEPALは大規模にダウンストリームタスクのための高品質な埋め込みを生成するように設計された大規模知識グラフのためのスケーラブルな埋め込み伝搬アルゴリズムである。 SEPALの鍵となる考え方は、エンティティの小さなコアにのみ埋め込みを最適化し、メッセージパッシングを通じてグラフの他の部分に伝播することで、グローバルな埋め込みアライメントを強制することである。 SEPALを7つの大規模知識グラフと46の下流機械学習タスクで評価した。 以上の結果から,SEPALはダウンストリームタスクにおける従来の手法よりも有意に優れていた。 さらに、SEPALはベース埋め込みモデルをスケールアップし、コモディティハードウェアに巨大な知識グラフを適合させることができる。

関連論文リスト

• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)
• Scalable Graph Embedding LearningOn A Single GPU [18.142879223260785]
  本稿では,大規模グラフの埋め込み学習の課題に対処する,ハイブリッドCPU-GPUフレームワークを提案する。 我々のシステムは、単一のマシンの総メモリ容量より桁違いに大きいデータセットにトレーニングをスケールできることを示します。
  論文  参考訳（メタデータ） (2021-10-13T19:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。