論文の概要: Random Entity Quantization for Parameter-Efficient Compositional Knowledge Graph Representation

• arxiv url: http://arxiv.org/abs/2310.15797v1
• Date: Tue, 24 Oct 2023 12:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 18:51:14.282126
• Title: Random Entity Quantization for Parameter-Efficient Compositional Knowledge Graph Representation
• Title（参考訳）: パラメータ効率の良い構成知識グラフ表現のためのランダムエンティティ量子化
• Authors: Jiaang Li, Quan Wang, Yi Liu, Licheng Zhang, Zhendong Mao
• Abstract要約: 下流タスクには知識グラフ(KG)の表現学習が不可欠である。 近年の研究では、エンティティ対応のコードワードを構成することでエンティティを表現するパラメータ効率の代替手法が提案されている。 本稿では、単純なランダムな実体量子化が、現在の戦略と同じような結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 31.46060436843277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation Learning on Knowledge Graphs (KGs) is essential for downstream tasks. The dominant approach, KG Embedding (KGE), represents entities with independent vectors and faces the scalability challenge. Recent studies propose an alternative way for parameter efficiency, which represents entities by composing entity-corresponding codewords matched from predefined small-scale codebooks. We refer to the process of obtaining corresponding codewords of each entity as entity quantization, for which previous works have designed complicated strategies. Surprisingly, this paper shows that simple random entity quantization can achieve similar results to current strategies. We analyze this phenomenon and reveal that entity codes, the quantization outcomes for expressing entities, have higher entropy at the code level and Jaccard distance at the codeword level under random entity quantization. Therefore, different entities become more easily distinguished, facilitating effective KG representation. The above results show that current quantization strategies are not critical for KG representation, and there is still room for improvement in entity distinguishability beyond current strategies. The code to reproduce our results is available at https://github.com/JiaangL/RandomQuantization.
• Abstract（参考訳）: 下流タスクには知識グラフ(KG)の表現学習が不可欠である。 支配的なアプローチであるKG Embedding(KGE)は、独立したベクトルを持つエンティティを表し、スケーラビリティの課題に直面している。 最近の研究では、事前定義された小さなコードブックからマッチしたエンティティ対応コードワードを構成することでエンティティを表現する、パラメータ効率の代替方法を提案している。 本稿では、各エンティティの対応するコードワードをエンティティ量子化として取得するプロセスについて述べる。 本稿では,単純なランダムな実体量子化が,現在の戦略と同じような結果が得られることを示す。 この現象を分析し,エンティティ表現のための数値化結果であるエンティティ符号が,コードレベルではエントロピーが高く,ランダムなエンティティ量子化下ではコードワードレベルではjaccard距離が高いことを明らかにする。 したがって、異なる実体はより容易に区別され、効果的なKG表現を促進する。 以上の結果から,現在の定量化戦略はkg表現にとって重要ではないこと,また,実体識別性が現在の戦略を超えて向上する余地があることが示された。 結果はhttps://github.com/jiaangl/randomquantizationで再現できます。

関連論文リスト

• SGC-VQGAN: Towards Complex Scene Representation via Semantic Guided Clustering Codebook [9.993066868670283]
  本稿では,SGC-VQGANをセマンティックオンラインクラスタリング法で導入し,一貫性セマンティックラーニングによるトークンセマンティクスを強化する。 提案手法は時間空間的に一貫したセマンティック・コードブックを構築し,コードブックの崩壊問題と不均衡なトークン・セマンティクスに対処する。
  論文  参考訳（メタデータ） (2024-09-09T23:12:43Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Schema First! Learn Versatile Knowledge Graph Embeddings by Capturing Semantics with MASCHInE [3.174882428337821]
  近年,知識グラフ埋め込みモデル (KGEMs) が注目されている。 本研究では,RDF/S情報を活用するKGの小型改良版であるプロトグラフを設計する。 学習されたプロトグラフベースの埋め込みは、KGのセマンティクスをカプセル化することを目的としており、KGEの学習に利用することができる。
  論文  参考訳（メタデータ） (2023-06-06T13:22:54Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• PIE: a Parameter and Inference Efficient Solution for Large Scale Knowledge Graph Embedding Reasoning [24.29409958504209]
  PIE, textbfparameter および textbfinference textbfefficient ソリューションを提案する。 テンソル分解法から着想を得た結果, 要素埋め込み行列を低階行列に分解することで, パラメータの半数以上を削減できることがわかった。 モデル推論を高速化するために,よりきめ細かなエンティティタイピングのように見える自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2022-04-29T09:06:56Z)
• GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
  融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。 提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-17T02:51:37Z)
• Probabilistic Entity Representation Model for Chain Reasoning over Knowledge Graphs [18.92547855877845]
  本稿では,知識グラフ上の論理的推論のための確率的エンティティ表現モデル(PERM)を提案する。 PERMは、エンティティを平均と共分散パラメータで多変量ガウス密度としてエンコードし、意味的位置と滑らかな決定境界をキャプチャする。 われわれは, PERMの薬剤再精製事例研究における能力を示すとともに, 提案された研究が, 現行の方法よりもはるかに優れたF1薬剤を推奨できることを実証した。
  論文  参考訳（メタデータ） (2021-10-26T09:26:10Z)
• Inductive Learning on Commonsense Knowledge Graph Completion [89.72388313527296]
  コモンセンス知識グラフ(英: Commonsense Knowledge graph、CKG)は、知識グラフ(英: knowledge graph、CKG)の一種。 本稿では,未確認のエンティティがテスト時に現れるCKG完了のための帰納学習環境について検討する。 InductivEは、ATOMICとConceptNetベンチマークの標準設定とインダクティブ設定の両方において、最先端のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-09-19T16:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。