論文の概要: From Wide to Deep: Dimension Lifting Network for Parameter-efficient Knowledge Graph Embedding

• arxiv url: http://arxiv.org/abs/2303.12816v3
• Date: Mon, 13 Nov 2023 05:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 22:19:16.778920
• Title: From Wide to Deep: Dimension Lifting Network for Parameter-efficient Knowledge Graph Embedding
• Title（参考訳）: 幅広から深部まで:パラメータ効率の知識グラフ埋め込みのための次元リフティングネットワーク
• Authors: Borui Cai, Yong Xiang, Longxiang Gao, Di Wu, He Zhang, Jiong Jin, Tom Luan
• Abstract要約: 従来の知識グラフ埋め込み法は、知識グラフの複雑な構造を学ぶために高次元表現を必要とする。 最近の進歩は、低次元の実体表現によるパラメータの削減と、縮小次元を補償する手法の開発である。 我々は、エンティティ表現のためのより深い埋め込みネットワーク、すなわち、狭いエンティティ埋め込み層と多層次元リフトネットワーク(LiftNet)を提案する。
• 参考スコア（独自算出の注目度）: 17.147997449251726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graph embedding (KGE) that maps entities and relations into vector representations is essential for downstream applications. Conventional KGE methods require high-dimensional representations to learn the complex structure of knowledge graph, but lead to oversized model parameters. Recent advances reduce parameters by low-dimensional entity representations, while developing techniques (e.g., knowledge distillation or reinvented representation forms) to compensate for reduced dimension. However, such operations introduce complicated computations and model designs that may not benefit large knowledge graphs. To seek a simple strategy to improve the parameter efficiency of conventional KGE models, we take inspiration from that deeper neural networks require exponentially fewer parameters to achieve expressiveness comparable to wider networks for compositional structures. We view all entity representations as a single-layer embedding network, and conventional KGE methods that adopt high-dimensional entity representations equal widening the embedding network to gain expressiveness. To achieve parameter efficiency, we instead propose a deeper embedding network for entity representations, i.e., a narrow entity embedding layer plus a multi-layer dimension lifting network (LiftNet). Experiments on three public datasets show that by integrating LiftNet, four conventional KGE methods with 16-dimensional representations achieve comparable link prediction accuracy as original models that adopt 512-dimensional representations, saving 68.4% to 96.9% parameters.
• Abstract（参考訳）: エンティティと関係をベクトル表現にマッピングする知識グラフ埋め込み(KGE)は下流アプリケーションに不可欠である。 従来のKGE法は知識グラフの複雑な構造を学ぶために高次元表現を必要とするが、大きすぎるモデルパラメータをもたらす。 近年の進歩は、低次元の実体表現によってパラメータを減らす一方で、縮小次元を補う技術(例えば、知識蒸留や再発明された表現形式)を開発している。 しかし、そのような演算は複雑な計算やモデル設計を導入しており、大きな知識グラフには役立たない。 従来のKGEモデルのパラメータ効率を改善するための簡単な戦略を探るため、より深いニューラルネットワークは、構成構造のためのより広いネットワークに匹敵する表現性を達成するために指数的に少ないパラメータを必要とする。 我々は、すべての実体表現を単層埋め込みネットワークとみなし、高次元の実体表現を採用する従来のKGE法は、埋め込みネットワークを等しく拡張して表現性を得る。 パラメータ効率を達成するために、我々はエンティティ表現のためのより深い埋め込みネットワーク、すなわち、狭いエンティティ埋め込み層と多層次元リフトネットワーク(LiftNet)を提案する。 3つの公開データセットの実験により、従来の4つのKGEメソッドと16次元表現を統合することで、512次元表現を採用したオリジナルのモデルと同等のリンク予測精度を実現し、68.4%から96.9%のパラメータを節約した。

関連論文リスト

• GFN: A graph feedforward network for resolution-invariant reduced operator learning in multifidelity applications [0.0]
  本研究は,多忠実度アプリケーションのための新しい分解能不変モデルオーダー削減戦略を提案する。 我々はこの研究で開発された新しいニューラルネットワーク層、グラフフィードフォワードネットワークに基づいてアーキテクチャを構築した。 パラメトリックな偏微分方程式に対する自己エンコーダに基づく還元戦略において,異なるメッシュサイズでのトレーニングとテストの能力を利用する。
  論文  参考訳（メタデータ） (2024-06-05T18:31:37Z)
• Block-Diagonal Orthogonal Relation and Matrix Entity for Knowledge Graph Embedding [5.463034010805521]
  知識グラフ埋め込み (KGE) は、実体の低次元表現と、行方不明な事実を予測するための関係を学習することである。 我々は,エンティティの行列と関係のブロック対角行列を用いた新しいKGEモデルOrthogonalEを紹介する。 実験結果から,我々の新しいKGEモデルOrthogonalEは汎用的かつ柔軟であり,最先端のKGEモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-01-11T15:13:00Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• ClusVPR: Efficient Visual Place Recognition with Clustering-based Weighted Transformer [13.0858576267115]
  ClusVPRは重複する領域における冗長な情報の特定の問題と、小さなオブジェクトの表現に対処する新しいアプローチである。 ClusVPRはClustering-based weighted Transformer Network (CWTNet)と呼ばれるユニークなパラダイムを導入した また,パラメータ数を大幅に削減し,モデル効率を向上させる最適化VLAD層を導入する。
  論文  参考訳（メタデータ） (2023-10-06T09:01:15Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Quaternion-Based Graph Convolution Network for Recommendation [45.005089037955536]
  Graph Convolution Network (GCN) はリコメンデータシステムで広く利用されている。 GCNは実世界でよく見られるノイズや不完全グラフに弱い。 本稿では,Queternion-based Graph Convolution Network (QGCN)レコメンデーションモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-20T07:42:18Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)
• SCG-Net: Self-Constructing Graph Neural Networks for Semantic Segmentation [23.623276007011373]
  本稿では,画像から直接長距離依存グラフを学習し,コンテキスト情報を効率的に伝達するモジュールを提案する。 モジュールは、新しい適応対角法と変分下界により最適化される。 ニューラルネットワーク(SCG-Net)に組み込まれると、セマンティックセグメンテーションがエンドツーエンドで行われ、競争性能が向上する。
  論文  参考訳（メタデータ） (2020-09-03T12:13:09Z)
• Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
  グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。 本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。 提案手法を,現在最大規模の2つの3次元データセット上で評価する。
  論文  参考訳（メタデータ） (2020-07-30T18:23:18Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。