論文の概要: Breaking Rank Bottlenecks in Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2506.22271v1
• Date: Fri, 27 Jun 2025 14:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.238462
• Title: Breaking Rank Bottlenecks in Knowledge Graph Completion
• Title（参考訳）: 知識グラフ補完におけるランクボトムネックの破滅
• Authors: Samy Badreddine, Emile van Krieken, Luciano Serafini,
• Abstract要約: 多くの知識グラフ補完(KGC)モデルは、単純なベクトル行列乗法に頼り、候補となるオブジェクトに対してクエリをスコアする。 ランクボトルネックがKGCモデルにどのように影響するかを理論的および実証的に検討する。 KGCモデルのランクボトルネックを解消する混合出力層であるKGE-MoSを提案する。
• 参考スコア（独自算出の注目度）: 8.441426008849614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many Knowledge Graph Completion (KGC) models, despite using powerful encoders, rely on a simple vector-matrix multiplication to score queries against candidate object entities. When the number of entities is larger than the model's embedding dimension, which in practical scenarios is often by several orders of magnitude, we have a linear output layer with a rank bottleneck. Such bottlenecked layers limit model expressivity. We investigate both theoretically and empirically how rank bottlenecks affect KGC models. We find that, by limiting the set of feasible predictions, rank bottlenecks hurt ranking accuracy and the distribution fidelity of scores. Inspired by the language modelling literature, we propose KGE-MoS, a mixture-based output layer to break rank bottlenecks in many KGC models. Our experiments on four datasets show that KGE-MoS improves performance and probabilistic fit of KGC models for a low parameter cost.
• Abstract（参考訳）: 強力なエンコーダを使用するにもかかわらず、多くの知識グラフ補完(KGC)モデルは、候補オブジェクトエンティティに対してクエリをスコアする単純なベクトル行列乗法に依存している。 実体の数がモデルの埋め込み次元よりも大きい場合、実際のシナリオでは、しばしば数桁の桁数で表されるため、ランクボトルネックを持つ線形出力層が存在する。 このようなボトルネックのあるレイヤは、モデル表現性を制限します。 ランクボトルネックがKGCモデルにどのように影響するかを理論的および実証的に検討する。 その結果,有望な予測のセットを制限することで,ランクボトルネックがランキング精度やスコアの分布忠実度を損なうことがわかった。 言語モデリングの文献から着想を得たKGE-MoSは,多くのKGCモデルにおけるランクボトルネックを解消する混合出力層である。 4つのデータセットに対する実験により,KGE-MoSは低パラメータコストでKGCモデルの性能と確率的適合性を向上することが示された。

関連論文リスト

• On the ability of Deep Neural Networks to Learn Granger Causality in Multi-Variate Time Series Data [8.33049663808736]
  本稿では、正規化されたモデルが、損失関数に項を明示的に加えることなく、データから真のGC構造を学習できることを示す。 また、入力層ドロップアウトがニューラルネットワークに与える影響を比較して、データからグラガー因果関係を学習する。
  論文  参考訳（メタデータ） (2025-06-25T11:57:24Z)
• GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• How to Turn Your Knowledge Graph Embeddings into Generative Models [10.466244652188777]
  リンク予測のための最も成功した知識グラフ埋め込み(KGE)モデルは、エネルギーベースモデルとして解釈できる。 この研究は、これらのKGEのスコア関数を回路として再解釈する。 我々の解釈では、リンク予測のパフォーマンスがほとんど、あるいは全く失われていない。
  論文  参考訳（メタデータ） (2023-05-25T11:30:27Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Sequence-to-Sequence Knowledge Graph Completion and Question Answering [8.207403859762044]
  既製のエンコーダ・デコーダ変換器モデルは,スケーラブルで汎用的なKGEモデルとして機能することを示す。 我々は,KGリンク予測をシーケンス・ツー・シーケンス・タスクとして用い,従来のKGE手法による3つのスコアリングアプローチを自己回帰復号化と交換することで,これを実現する。
  論文  参考訳（メタデータ） (2022-03-19T13:01:49Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation [93.17367076148348]
  本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。 主な原因は、オブジェクト提案の不正確な分類である。 そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T12:49:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。