論文の概要: HyCubE: Efficient Knowledge Hypergraph 3D Circular Convolutional Embedding

• arxiv url: http://arxiv.org/abs/2402.08961v1
• Date: Wed, 14 Feb 2024 06:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 16:44:23.681976
• Title: HyCubE: Efficient Knowledge Hypergraph 3D Circular Convolutional Embedding
• Title（参考訳）: HyCubE: 効率的な知識ハイパーグラフ3D循環型畳み込み
• Authors: Zhao Li, Xin Wang, Jianxin Li, Wenbin Guo, Jun Zhao
• Abstract要約: 本稿では,新しい3次元円形畳み込み埋め込みモデルHyCubEを提案する。 HyCubEは最先端のベースラインを一貫して上回ります。 HyCubEは平均7.55倍スピードアップし、メモリ使用量を平均77.02%削減している。
• 参考スコア（独自算出の注目度）: 23.044450931042206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing knowledge hypergraph embedding methods mainly focused on improving model performance, but their model structures are becoming more complex and redundant. Furthermore, due to the inherent complex semantic knowledge, the computation of knowledge hypergraph embedding models is often very expensive, leading to low efficiency. In this paper, we propose a feature interaction and extraction-enhanced 3D circular convolutional embedding model, HyCubE, which designs a novel 3D circular convolutional neural network and introduces the alternate mask stack strategy to achieve efficient n-ary knowledge hypergraph embedding. By adaptively adjusting the 3D circular convolution kernel size and uniformly embedding the entity position information, HyCubE improves the model performance with fewer parameters and reaches a better trade-off between model performance and efficiency. In addition, we use 1-N multilinear scoring based on the entity mask mechanism to further accelerate the model training efficiency. Finally, extensive experimental results on all datasets demonstrate that HyCubE consistently outperforms state-of-the-art baselines, with an average improvement of 4.08%-10.77% and a maximum improvement of 21.16% across all metrics. Commendably, HyCubE speeds up by an average of 7.55x and reduces memory usage by an average of 77.02% compared to the latest state-of-the-art baselines.
• Abstract（参考訳）: 既存の知識ハイパーグラフ埋め込み手法は、主にモデルパフォーマンスの改善に焦点を当てているが、モデル構造はより複雑で冗長になっている。 さらに、本質的に複雑な意味知識のため、知識ハイパーグラフ埋め込みモデルの計算は、しばしば非常に高価であり、効率が低下する。 本稿では,新しい3次元円形畳み込みニューラルネットワークを設計し,効率的なn-ary知識ハイパーグラフ埋め込みを実現するためにマスクスタック戦略を導入する,特徴相互作用と抽出強化3次元円形畳み込み埋め込みモデルHyCubEを提案する。 3次元円形畳み込みカーネルサイズを適応的に調整し、エンティティ位置情報を均一に埋め込み、より少ないパラメータでモデル性能を改善し、モデル性能と効率のトレードオフを改善する。 さらに,エンティティマスク機構に基づく1-nマルチリニアスコアを用いて,モデルのトレーニング効率をさらに向上させる。 最後に、すべてのデータセットに対する広範な実験結果から、HyCubEは最先端のベースラインを一貫して上回り、平均改善は4.08%-10.77%、最大改善は全指標で21.16%となっている。 HyCubEは平均7.55倍スピードアップし、最新の最先端ベースラインと比較して平均77.02%メモリ使用量を削減している。

関連論文リスト

• Distillation of Diffusion Features for Semantic Correspondence [23.54555663670558]
  本稿では,効率の低下を克服する新しい知識蒸留手法を提案する。 本稿では,2つの大きな視覚基盤モデルを用いて,これらの補足モデルの性能を,計算コストの低減で高精度に維持する1つの小さなモデルに蒸留する方法を示す。 実験結果から,3次元データ拡張による蒸留モデルにより,計算負荷を大幅に削減し,セマンティックビデオ対応などの実世界のアプリケーションの実現性を向上させるとともに,現在の最先端手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-12-04T17:55:33Z)
• Hyperspectral Images Efficient Spatial and Spectral non-Linear Model with Bidirectional Feature Learning [7.06787067270941]
  本稿では,分類精度を高めつつ,データ量を大幅に削減する新しいフレームワークを提案する。 本モデルでは,空間特徴解析のための特殊ブロックによって補完されるスペクトル特徴を効率よく抽出するために,双方向逆畳み込みニューラルネットワーク(CNN)を用いる。
  論文  参考訳（メタデータ） (2024-11-29T23:32:26Z)
• Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance [15.877771709013743]
  本研究では,3次重み付き埋め込みモデルのためのファインタニングフレームワークを提案する。 プレトレーニング埋込みモデルに三元化を適用するため, 線形層の三元重みを確定するために, 自己学習型知識蒸留を導入する。 パブリックテキストとビジョンデータセットに関する広範な実験により、テナライズされたモデルは、有効性を犠牲にすることなく、低メモリ使用量を消費することを示した。
  論文  参考訳（メタデータ） (2024-11-23T03:44:56Z)
• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)
• Constructing Stronger and Faster Baselines for Skeleton-based Action Recognition [19.905455701387194]
  骨格に基づく行動認識のための効率的なグラフ畳み込みネットワーク(GCN)のベースラインを提案する。 NTU RGB+D 60 と 120 の2つの大規模データセットでは、提案されたEfficientGCN-B4 ベースラインは、他の State-Of-The-Art (SOTA) メソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-06-29T07:09:11Z)
• Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
  グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。 本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。 提案手法を,現在最大規模の2つの3次元データセット上で評価する。
  論文  参考訳（メタデータ） (2020-07-30T18:23:18Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。