論文の概要: Fast and Continual Knowledge Graph Embedding via Incremental LoRA

• arxiv url: http://arxiv.org/abs/2407.05705v1
• Date: Mon, 8 Jul 2024 08:07:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 16:30:32.533022
• Title: Fast and Continual Knowledge Graph Embedding via Incremental LoRA
• Title（参考訳）: インクリメンタルLORAによる高速かつ連続的な知識グラフ埋め込み
• Authors: Jiajun Liu, Wenjun Ke, Peng Wang, Jiahao Wang, Jinhua Gao, Ziyu Shang, Guozheng Li, Zijie Xu, Ke Ji, Yining Li,
• Abstract要約: 連続的知識グラフ埋め込みは、新しい知識を効率的に学習し、古い知識を同時に保存することを目的としている。 本稿では,新しい知識を効率的に獲得するために,インクリメンタルな低ランクアダプタ(mec)機構を組み込んだ高速CKGEフレームワーク(モデル)を提案する。 4つの公開データセットと2つの新しいデータセットを、より大規模な初期スケールで実験する。
• 参考スコア（独自算出の注目度）: 20.624310261539694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Knowledge Graph Embedding (CKGE) aims to efficiently learn new knowledge and simultaneously preserve old knowledge. Dominant approaches primarily focus on alleviating catastrophic forgetting of old knowledge but neglect efficient learning for the emergence of new knowledge. However, in real-world scenarios, knowledge graphs (KGs) are continuously growing, which brings a significant challenge to fine-tuning KGE models efficiently. To address this issue, we propose a fast CKGE framework (\model), incorporating an incremental low-rank adapter (\mec) mechanism to efficiently acquire new knowledge while preserving old knowledge. Specifically, to mitigate catastrophic forgetting, \model\ isolates and allocates new knowledge to specific layers based on the fine-grained influence between old and new KGs. Subsequently, to accelerate fine-tuning, \model\ devises an efficient \mec\ mechanism, which embeds the specific layers into incremental low-rank adapters with fewer training parameters. Moreover, \mec\ introduces adaptive rank allocation, which makes the LoRA aware of the importance of entities and adjusts its rank scale adaptively. We conduct experiments on four public datasets and two new datasets with a larger initial scale. Experimental results demonstrate that \model\ can reduce training time by 34\%-49\% while still achieving competitive link prediction performance against state-of-the-art models on four public datasets (average MRR score of 21.0\% vs. 21.1\%).Meanwhile, on two newly constructed datasets, \model\ saves 51\%-68\% training time and improves link prediction performance by 1.5\%.
• Abstract（参考訳）: CKGE(Continuous Knowledge Graph Embedding)は、新しい知識を効率的に学習し、古い知識を同時に保存することを目的としている。 支配的なアプローチは、主に、古い知識の破滅的な忘れを緩和することに焦点を当てるが、新しい知識の出現に対する効率的な学習を無視する。 しかし、現実のシナリオでは、知識グラフ(KG)は継続的に成長しており、KGEモデルを効率的に微調整する上で大きな課題となっている。 そこで本研究では,従来の知識を保ちつつ,新たな知識を効率よく獲得するために,インクリメンタルな低ランクアダプタ(\mec)機構を組み込んだ高速CKGEフレームワーク(\model)を提案する。 具体的には、破滅的な忘れを和らげるために、\model\は、古いKGと新しいKGの間のきめ細かい影響に基づいて、特定の層に新しい知識を分離し割り当てる。 その後、微調整を加速するために、Shamodel\は、トレーニングパラメータが少ないインクリメンタルローランクアダプタに特定のレイヤを埋め込む、効率的な \mec\ メカニズムを考案した。 さらに、 \mec\は適応的なランクアロケーションを導入し、LoRAはエンティティの重要性を認識し、そのランクスケールを適応的に調整する。 4つの公開データセットと2つの新しいデータセットを、より大規模な初期スケールで実験する。 実験結果から,4つの公開データセット(平均MRRスコア21.0\% vs. 21.1\%)上での最先端モデルに対する競合リンク予測性能を保ちながら,トレーニング時間を34\%-49\%削減できることが示された。 一方、新たに構築された2つのデータセットでは、 \model\は51\%-68\%のトレーニング時間を節約し、リンク予測性能を1.5\%改善する。

関連論文リスト

• Towards Continual Knowledge Graph Embedding via Incremental Distillation [12.556752486002356]
  従来の知識グラフ埋め込み(KGE)の手法では、新しい知識が出現すると、知識グラフ全体(KG)をかなりの訓練コストで保存する必要がある。 本稿では,KGsにおける明示的なグラフ構造の完全活用を考慮したインクリメンタル蒸留(IncDE)に基づくCKGEの競合手法を提案する。
  論文  参考訳（メタデータ） (2024-05-07T16:16:00Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction [22.96768147978534]
  本稿では,効率を向上しつつ,完全アンサンブルのランキング精度を維持するための階層型ランキングアーキテクチャCascaderを提案する。 CascadER は LM を用いて、より効率的な KGE の出力を再現し、KGE の精度向上を最大化しつつ、LM を最小限に呼び出すための適応的なサブセット選択方式に依存している。 実験により, モデル間の多様性と個々のモデルの信頼性信号の保存がカスケーダの有効性を説明するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T22:55:45Z)
• Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional Knowledge Graph Embeddings [20.693275018860287]
  我々は、Hardness-Aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。 限られた訓練時間において、HaLEはKGEモデルの性能と訓練速度を効果的に向上させることができる。 HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、最先端のモデルと比較して競争力がある。
  論文  参考訳（メタデータ） (2022-01-03T10:25:10Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。