論文の概要: Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional
Knowledge Graph Embeddings
- arxiv url: http://arxiv.org/abs/2201.00565v1
- Date: Mon, 3 Jan 2022 10:25:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-04 13:33:43.672336
- Title: Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional
Knowledge Graph Embeddings
- Title（参考訳）: Swift and Sure: 低次元知識グラフ埋め込みのためのハードネス対応コントラスト学習
- Authors: Kai Wang and Yu Liu and Quan Z. Sheng
- Abstract要約: 我々は、Hardness-Aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。
限られた訓練時間において、HaLEはKGEモデルの性能と訓練速度を効果的に向上させることができる。
HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、最先端のモデルと比較して競争力がある。
- 参考スコア（独自算出の注目度）: 20.693275018860287
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge graph embedding (KGE) has drawn great attention due to its
potential in automatic knowledge graph (KG) completion and knowledge-driven
tasks. However, recent KGE models suffer from high training cost and large
storage space, thus limiting their practicality in real-world applications. To
address this challenge, based on the latest findings in the field of
Contrastive Learning, we propose a novel KGE training framework called
Hardness-aware Low-dimensional Embedding (HaLE). Instead of the traditional
Negative Sampling, we design a new loss function based on query sampling that
can balance two important training targets, Alignment and Uniformity.
Furthermore, we analyze the hardness-aware ability of recent low-dimensional
hyperbolic models and propose a lightweight hardness-aware activation
mechanism, which can help the KGE models focus on hard instances and speed up
convergence. The experimental results show that in the limited training time,
HaLE can effectively improve the performance and training speed of KGE models
on five commonly-used datasets. The HaLE-trained models can obtain a high
prediction accuracy after training few minutes and are competitive compared to
the state-of-the-art models in both low- and high-dimensional conditions.
- Abstract（参考訳）: 知識グラフ埋め込み(KGE)は、知識グラフ(KG)の完備化と知識駆動タスクの可能性から注目されている。
しかし、最近のKGEモデルは、トレーニングコストと大きなストレージスペースに悩まされており、現実のアプリケーションでは実用性が制限されている。
この課題に対処するため,コントラスト学習の分野における最新の知見をもとに,Hardness-aware Low-dimensional Embedding (HaLE)と呼ばれる新しいKGEトレーニングフレームワークを提案する。
従来の負サンプリングの代わりに、クエリサンプリングに基づく新しい損失関数を設計し、アライメントと統一性の2つの重要なトレーニング目標のバランスをとることができる。
さらに,最近の低次元双曲モデルのハードネス認識能力を分析し,kgeモデルがハードインスタンスにフォーカスし,コンバージェンスを高速化するのに役立つ軽量なハードネス認識活性化機構を提案する。
実験の結果,haleは5つのデータセット上でkgeモデルの性能とトレーニング速度を効果的に向上できることがわかった。
HaLE訓練モデルは、数分のトレーニング後に高い予測精度を得ることができ、低次元および高次元の条件下での最先端モデルと比較して競争力がある。
関連論文リスト
- Croppable Knowledge Graph Embedding [34.154096023765916]
知識グラフ埋め込み(英: Knowledge Graph Embedding、略称:KGE)は、知識グラフ(英: Knowledge Graphs、略称:KG)の一般的な手法である。
新しい次元が必要になったら、新しいKGEモデルをゼロからトレーニングする必要があります。
複数のシナリオに適用可能なKGEモデルを一度トレーニングできる新しいKGEトレーニングフレームワークMEDを提案する。
論文 参考訳（メタデータ） (2024-07-03T03:10:25Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳（メタデータ） (2023-10-19T17:57:16Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-03T21:49:14Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳（メタデータ） (2023-06-21T05:26:28Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-06-12T15:52:02Z) - Rethinking Soft Label in Label Distribution Learning Perspective [0.27719338074999533]
初期の畳み込みニューラルネットワーク(CNN)におけるトレーニングの第一の目的は、モデルのより高度な一般化性能である。
CNNトレーニングにおいてラベル分布学習(LDL)を行うことで,モデルの校正が促進されることを示した。
我々はいくつかの可視化と分析を行い、LCLを用いたCNNトレーニングでいくつかの興味深い振る舞いを目撃した。
論文 参考訳（メタデータ） (2023-01-31T06:47:19Z) - Confidence-aware Self-Semantic Distillation on Knowledge Graph Embedding [20.49583906923656]
信頼を意識した自己知識蒸留はモデル自体から学習し、KGEを低次元空間で強化する。
特定のセマンティックモジュールは、以前に学習した埋め込みの信頼度を推定することにより、信頼できる知識をフィルタリングする。
論文 参考訳（メタデータ） (2022-06-07T01:49:22Z) - Highly Efficient Knowledge Graph Embedding Learning with Orthogonal
Procrustes Analysis [10.154836127889487]
知識グラフ埋め込み(KGE)は、幅広いアプリケーションへの約束のために、近年集中的に研究されています。
本稿では, トレーニング時間と炭素フットプリントを桁違いに削減できる簡易かつ効果的なKGEフレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-10T03:55:45Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z) - MulDE: Multi-teacher Knowledge Distillation for Low-dimensional
Knowledge Graph Embeddings [22.159452429209463]
知識グラフ埋め込み(KGE)に基づくリンク予測は、知識グラフ(KG)を自動的に構築する新しいトリプルを予測することを目的としている。
最近のKGEモデルは、埋め込み次元を過度に増加させることで、性能の向上を実現している。
我々は,教師として複数の低次元双曲KGEモデルと2つの学生コンポーネントを含む新しい知識蒸留フレームワークであるMulDEを提案する。
論文 参考訳（メタデータ） (2020-10-14T15:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。