論文の概要: Highly Efficient Knowledge Graph Embedding Learning with Orthogonal Procrustes Analysis

• arxiv url: http://arxiv.org/abs/2104.04676v1
• Date: Sat, 10 Apr 2021 03:55:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:44:16.278177
• Title: Highly Efficient Knowledge Graph Embedding Learning with Orthogonal Procrustes Analysis
• Title（参考訳）: 直交 Procrustes 解析による学習を組み込む高能率知識グラフ
• Authors: Xutan Peng, Guanyi Chen, Chenghua Lin, Mark Stevenson
• Abstract要約: 知識グラフ埋め込み(KGE)は、幅広いアプリケーションへの約束のために、近年集中的に研究されています。 本稿では, トレーニング時間と炭素フットプリントを桁違いに削減できる簡易かつ効果的なKGEフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.154836127889487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graph Embeddings (KGEs) have been intensively explored in recent years due to their promise for a wide range of applications. However, existing studies focus on improving the final model performance without acknowledging the computational cost of the proposed approaches, in terms of execution time and environmental impact. This paper proposes a simple yet effective KGE framework which can reduce the training time and carbon footprint by orders of magnitudes compared with state-of-the-art approaches, while producing competitive performance. We highlight three technical innovations: full batch learning via relational matrices, closed-form Orthogonal Procrustes Analysis for KGEs, and non-negative-sampling training. In addition, as the first KGE method whose entity embeddings also store full relation information, our trained models encode rich semantics and are highly interpretable. Comprehensive experiments and ablation studies involving 13 strong baselines and two standard datasets verify the effectiveness and efficiency of our algorithm.
• Abstract（参考訳）: 知識グラフ埋め込み(KGE)は、広範囲のアプリケーションに対して約束されているため、近年、徹底的に研究されている。 しかし,既存の研究では,実行時間と環境影響の観点から,提案手法の計算コストを考慮せずに最終モデルの性能向上に重点を置いている。 本稿では,最先端の手法と比較してトレーニング時間と炭素フットプリントを桁違いに削減し,競争性能を向上する,シンプルで効果的なKGEフレームワークを提案する。 関係行列によるフルバッチ学習,kgesのクローズドフォーム直交探索分析,非負サンプリングトレーニングの3つの技術革新を強調する。 さらに、エンティティの埋め込みも完全な関係情報を格納する最初のKGE手法として、トレーニングされたモデルはリッチセマンティクスを符号化し、高度に解釈可能である。 13の強いベースラインと2つの標準データセットを含む総合的な実験とアブレーション研究により、アルゴリズムの有効性と効率が検証された。

関連論文リスト

• CLCE: An Approach to Refining Cross-Entropy and Contrastive Learning for Optimized Learning Fusion [15.106479030601378]
  クロスエントロピー損失(CE)はモデルの一般化と安定性を損なう可能性がある。 本稿では,Contrastive Learning と CE を統合した CLCE という新しいアプローチを提案する。 CLCEは12ベンチマークでCEのTop-1精度を大きく上回っている。
  論文  参考訳（メタデータ） (2024-02-22T13:45:01Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• A Comprehensive Study on Knowledge Graph Embedding over Relational Patterns Based on Rule Learning [49.09125100268454]
  KGE(Knowledge Graph Embedding)は、KGC(Knowledge Completion Graph)タスクを解決するための効果的なアプローチであることが証明されている。 関係パターンはKGEモデルの性能において重要な要素である。 我々は,KGEモデルの性能を様々な関係パターン上で向上させるトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:30:57Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• ProjB: An Improved Bilinear Biased ProjE model for Knowledge Graph Completion [1.5576879053213302]
  この研究は、計算の複雑さが低く、モデル改善の可能性が高いため、ProjE KGEを改善する。 FB15KやWN18のようなベンチマーク知識グラフ(KG)の実験結果から、提案手法はエンティティ予測タスクにおける最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-15T18:18:05Z)
• Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings [4.3400407844815]
  本稿では,大規模知識グラフのための多要素HPOアルゴリズムを提案する。 GraSHは、大規模グラフの最先端の結果を低コストで得る。
  論文  参考訳（メタデータ） (2022-07-11T16:07:16Z)
• Confidence-aware Self-Semantic Distillation on Knowledge Graph Embedding [20.49583906923656]
  信頼を意識した自己知識蒸留はモデル自体から学習し、KGEを低次元空間で強化する。 特定のセマンティックモジュールは、以前に学習した埋め込みの信頼度を推定することにより、信頼できる知識をフィルタリングする。
  論文  参考訳（メタデータ） (2022-06-07T01:49:22Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• DAGs with No Curl: An Efficient DAG Structure Learning Approach [62.885572432958504]
  近年のDAG構造学習は連続的な非巡回性制約を伴う制約付き連続最適化問題として定式化されている。 本稿では,DAG空間の重み付き隣接行列を直接モデル化し,学習するための新しい学習フレームワークを提案する。 本手法は, 線形および一般化された構造方程式モデルにおいて, ベースラインDAG構造学習法よりも精度が高いが, 効率がよいことを示す。
  論文  参考訳（メタデータ） (2021-06-14T07:11:36Z)
• RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
  本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。 二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。 理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
  論文  参考訳（メタデータ） (2021-01-25T13:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。