論文の概要: HyCubE: Efficient Knowledge Hypergraph 3D Circular Convolutional Embedding
- arxiv url: http://arxiv.org/abs/2402.08961v3
- Date: Mon, 04 Nov 2024 09:13:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:41:02.716280
- Title: HyCubE: Efficient Knowledge Hypergraph 3D Circular Convolutional Embedding
- Title（参考訳）: HyCubE: 効率的な知識ハイパーグラフ3D循環型畳み込み
- Authors: Zhao Li, Xin Wang, Jun Zhao, Wenbin Guo, Jianxin Li,
- Abstract要約: モデルの有効性と効率のトレードオフに達するためには、知識ハイパーグラフの埋め込みが望ましいし、難しい。
本稿では,新しい3次元円形畳み込みニューラルネットワークを設計した,エンドツーエンドの知識ハイパーグラフ埋め込みモデルHyCubEを提案する。
提案手法は, 平均8.22%, 最大33.82%の改善により, 常に最先端のベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 21.479738859698344
- License:
- Abstract: Knowledge hypergraph embedding models are usually computationally expensive due to the inherent complex semantic information. However, existing works mainly focus on improving the effectiveness of knowledge hypergraph embedding, making the model architecture more complex and redundant. It is desirable and challenging for knowledge hypergraph embedding to reach a trade-off between model effectiveness and efficiency. In this paper, we propose an end-to-end efficient knowledge hypergraph embedding model, HyCubE, which designs a novel 3D circular convolutional neural network and the alternate mask stack strategy to enhance the interaction and extraction of feature information comprehensively. Furthermore, our proposed model achieves a better trade-off between effectiveness and efficiency by adaptively adjusting the 3D circular convolutional layer structure to handle n-ary knowledge tuples of different arities with fewer parameters. In addition, we use a knowledge hypergraph 1-N multilinear scoring way to accelerate the model training efficiency further. Finally, extensive experimental results on all datasets demonstrate that our proposed model consistently outperforms state-of-the-art baselines, with an average improvement of 8.22% and a maximum improvement of 33.82% across all metrics. Meanwhile, HyCubE is 6.12x faster, GPU memory usage is 52.67% lower, and the number of parameters is reduced by 85.21% compared with the average metric of the latest state-of-the-art baselines.
- Abstract（参考訳）: 知識ハイパーグラフ埋め込みモデルは通常、固有の複雑な意味情報のために計算コストがかかる。
しかし、既存の研究は主に知識ハイパーグラフの埋め込みの有効性の改善に重点を置いており、モデルアーキテクチャをより複雑で冗長なものにしている。
モデルの有効性と効率のトレードオフに達するためには、知識ハイパーグラフの埋め込みが望ましいし、難しい。
本稿では,新しい3次元円形畳み込みニューラルネットワークとマスクスタック戦略を設計し,特徴情報の相互作用と抽出を包括的に促進するエンド・ツー・エンドな知識ハイパーグラフ埋め込みモデルHyCubEを提案する。
さらに,本モデルでは,3次元円形畳み込み層構造を適応的に調整し,パラメータの少ない n-ary 知識タプルを扱うことにより,有効性と効率のトレードオフを向上する。
さらに,知識ハイパーグラフ1-Nを用いたマルチ線形スコアリング手法により,モデルの学習効率をさらに向上する。
最後に、すべてのデータセットに対する広範な実験結果から、提案したモデルは最先端のベースラインを一貫して上回り、平均改善は8.22%、最大改善はすべてのメトリクスで33.82%であることが示された。
一方、HyCubEは6.12倍速く、GPUメモリ使用量は52.67%減少し、最新の最先端ベースラインの平均値と比較してパラメータの数は85.21%減少する。
関連論文リスト
- Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance [15.877771709013743]
本研究では,3次重み付き埋め込みモデルのためのファインタニングフレームワークを提案する。
プレトレーニング埋込みモデルに三元化を適用するため, 線形層の三元重みを確定するために, 自己学習型知識蒸留を導入する。
パブリックテキストとビジョンデータセットに関する広範な実験により、テナライズされたモデルは、有効性を犠牲にすることなく、低メモリ使用量を消費することを示した。
論文 参考訳（メタデータ） (2024-11-23T03:44:56Z) - Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。
本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。
提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
論文 参考訳（メタデータ） (2024-08-11T02:59:11Z) - Trimming the Fat: Efficient Compression of 3D Gaussian Splats through Pruning [17.097742540845672]
脂肪を磨く」とは、モデルに符号化された余分な情報を除去する、ポストホックな勾配インフォームド・イテレーティブ・プルーニング技術である。
提案手法は,ベースラインモデルに類似した性能を維持しつつ,約50$times$圧縮を実現し,最大600FPSの高速化を実現している。
論文 参考訳（メタデータ） (2024-06-26T09:57:55Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Self-attention Presents Low-dimensional Knowledge Graph Embeddings for
Link Prediction [6.789370732159177]
セルフアテンションは、エンティティとリレーションにクエリ依存のプロジェクションを適用するための鍵である。
我々のモデルは、最新の3つの最先端の競合製品よりも好意的に、あるいは優れたパフォーマンスを達成しています。
論文 参考訳（メタデータ） (2021-12-20T16:11:01Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。
本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
論文 参考訳（メタデータ） (2021-08-16T04:20:09Z) - Constructing Stronger and Faster Baselines for Skeleton-based Action
Recognition [19.905455701387194]
骨格に基づく行動認識のための効率的なグラフ畳み込みネットワーク(GCN)のベースラインを提案する。
NTU RGB+D 60 と 120 の2つの大規模データセットでは、提案されたEfficientGCN-B4 ベースラインは、他の State-Of-The-Art (SOTA) メソッドよりも優れている。
論文 参考訳（メタデータ） (2021-06-29T07:09:11Z) - Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action
Recognition [57.98278794950759]
グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。
本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。
提案手法を,現在最大規模の2つの3次元データセット上で評価する。
論文 参考訳（メタデータ） (2020-07-30T18:23:18Z) - Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。
最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。
現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。
まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
論文 参考訳（メタデータ） (2020-07-13T16:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。