論文の概要: Croppable Knowledge Graph Embedding

• arxiv url: http://arxiv.org/abs/2407.02779v1
• Date: Wed, 3 Jul 2024 03:10:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:44:50.197506
• Title: Croppable Knowledge Graph Embedding
• Title（参考訳）: Croppable Knowledge Graph Embedding
• Authors: Yushan Zhu, Wen Zhang, Zhiqiang Liu, Mingyang Chen, Lei Liang, Huajun Chen,
• Abstract要約: 知識グラフ埋め込み(英: Knowledge Graph Embedding、略称:KGE)は、知識グラフ(英: Knowledge Graphs、略称:KG)の一般的な手法である。 新しい次元が必要になったら、新しいKGEモデルをゼロからトレーニングする必要があります。 複数のシナリオに適用可能なKGEモデルを一度トレーニングできる新しいKGEトレーニングフレームワークMEDを提案する。
• 参考スコア（独自算出の注目度）: 34.154096023765916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graph Embedding (KGE) is a common method for Knowledge Graphs (KGs) to serve various artificial intelligence tasks. The suitable dimensions of the embeddings depend on the storage and computing conditions of the specific application scenarios. Once a new dimension is required, a new KGE model needs to be trained from scratch, which greatly increases the training cost and limits the efficiency and flexibility of KGE in serving various scenarios. In this work, we propose a novel KGE training framework MED, through which we could train once to get a croppable KGE model applicable to multiple scenarios with different dimensional requirements, sub-models of the required dimensions can be cropped out of it and used directly without any additional training. In MED, we propose a mutual learning mechanism to improve the low-dimensional sub-models performance and make the high-dimensional sub-models retain the capacity that low-dimensional sub-models have, an evolutionary improvement mechanism to promote the high-dimensional sub-models to master the knowledge that the low-dimensional sub-models can not learn, and a dynamic loss weight to balance the multiple losses adaptively. Experiments on 3 KGE models over 4 standard KG completion datasets, 3 real application scenarios over a real-world large-scale KG, and the experiments of extending MED to the language model BERT show the effectiveness, high efficiency, and flexible extensibility of MED.
• Abstract（参考訳）: 知識グラフ埋め込み(英: Knowledge Graph Embedding、略称:KGE)は、知識グラフ(英: Knowledge Graphs、略称:KG)の一般的な手法である。 埋め込みの適切な次元は、特定のアプリケーションシナリオのストレージと計算条件に依存する。 新しい次元が必要になったら、新しいKGEモデルをスクラッチからトレーニングする必要がある。 そこで本研究では,異なる次元条件の複数のシナリオに適用可能なKGEモデルを一度トレーニングすることで,必要な次元のサブモデルを抽出し,追加のトレーニングなしで直接使用することが可能な,新しいKGEトレーニングフレームワークMEDを提案する。 MEDでは,低次元サブモデルの性能を向上させるための相互学習機構を提案し,低次元サブモデルが持つ能力を維持するための高次元サブモデル,低次元サブモデルが学習できないという知識を習得するための高次元サブモデルを促進する進化的改善機構,複数の損失を適応的にバランスさせる動的損失重みを提案する。 4つの標準KGコンプリートデータセット上での3つのKGEモデルの実験、実世界の大規模KG上での3つの実アプリケーションシナリオの実験、および言語モデルBERTへのMEDの拡張実験は、MEDの有効性、高効率、柔軟な拡張性を示している。

関連論文リスト

• Over-parameterized Student Model via Tensor Decomposition Boosted Knowledge Distillation [10.48108719012248]
  我々は、より大規模な教師モデルを模倣するために、コンパクトな学生モデルを訓練する知識蒸留(KD)に焦点を当てる。 これまでの作業の多くとは対照的に、トレーニング中の学生モデルのパラメータをスケールアップする。
  論文  参考訳（メタデータ） (2024-11-10T12:40:59Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Enhancing Cross-Category Learning in Recommendation Systems with Multi-Layer Embedding Training [2.4862527485819186]
  多層埋め込み訓練(MLET)は、埋め込み層の因子化による埋め込みを訓練する。 MLETは、特に稀なアイテムに対して、一貫してより良いモデルを生成する。 モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを最大16倍、平均5.8倍まで減らすことができる。
  論文  参考訳（メタデータ） (2023-09-27T09:32:10Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Feeding What You Need by Understanding What You Learned [54.400455868448695]
  Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。 MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。 モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-05T14:15:59Z)
• Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional Knowledge Graph Embeddings [20.693275018860287]
  我々は、Hardness-Aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。 限られた訓練時間において、HaLEはKGEモデルの性能と訓練速度を効果的に向上させることができる。 HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、最先端のモデルと比較して競争力がある。
  論文  参考訳（メタデータ） (2022-01-03T10:25:10Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)
• MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings [22.159452429209463]
  知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。 最近のKGEモデルは、埋め込み次元を過度に増加させることで、性能の向上を実現している。 我々は,教師として複数の低次元双曲KGEモデルと2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
  論文  参考訳（メタデータ） (2020-10-14T15:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。