論文の概要: Breaking Rank Bottlenecks in Knowledge Graph Embeddings

• arxiv url: http://arxiv.org/abs/2506.22271v2
• Date: Mon, 29 Sep 2025 09:55:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 17:47:09.075665
• Title: Breaking Rank Bottlenecks in Knowledge Graph Embeddings
• Title（参考訳）: 知識グラフ埋め込みにおけるランクボトムネックの破滅
• Authors: Samy Badreddine, Emile van Krieken, Luciano Serafini,
• Abstract要約: リンク予測のための知識グラフ埋め込み(KGE)モデルは強力なエンコーダを使用する。 エンティティの数がモデルの埋め込み次元よりも大きい場合、ランクのボトルネックを持つ線形出力層が存在します。 言語モデリングの文献から着想を得たKGE-MoSを提案する。
• 参考スコア（独自算出の注目度）: 10.089839059299832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many knowledge graph embedding (KGE) models for link prediction use powerful encoders. However, they often rely on a simple hidden vector-matrix multiplication to score subject-relation queries against candidate object entities. When the number of entities is larger than the model's embedding dimension, which is often the case in practice by several orders of magnitude, we have a linear output layer with a rank bottleneck. Such bottlenecked layers limit model expressivity. We investigate both theoretically and empirically how rank bottlenecks affect KGEs. We find that, by limiting the set of feasible predictions, rank bottlenecks hurt the ranking accuracy and distribution fidelity of scores. Inspired by the language modelling literature, we propose KGE-MoS, a mixture-based output layer to break rank bottlenecks in many KGEs. Our experiments show that KGE-MoS improves ranking performance of KGE models on large-scale datasets at a low parameter cost.
• Abstract（参考訳）: リンク予測のための知識グラフ埋め込み(KGE)モデルは、強力なエンコーダを使用する。 しかし、それらは単純な隠れベクトル行列乗法に頼り、候補となるオブジェクトに対して主観的関係のクエリをスコアする。 実体の数がモデルの埋め込み次元よりも大きい場合、それは実際は数桁のオーダーで成り立つことが多いが、ランクボトルネックを持つ線形出力層が存在する。 このようなボトルネックのあるレイヤは、モデル表現性を制限します。 ランクボトルネックがKGEにどのように影響するかを理論的および実証的に検討する。 その結果,有望な予測のセットを制限することで,ランクボトルネックがスコアのランキング精度と分布忠実度を損なうことがわかった。 言語モデリングの文献から着想を得たKGE-MoSを提案する。 実験の結果,KGE-MoSは,大規模データセット上でのKGEモデルのランク付け性能を低パラメータで向上することがわかった。

関連論文リスト

• On the ability of Deep Neural Networks to Learn Granger Causality in Multi-Variate Time Series Data [8.33049663808736]
  本稿では、正規化されたモデルが、損失関数に項を明示的に加えることなく、データから真のGC構造を学習できることを示す。 また、入力層ドロップアウトがニューラルネットワークに与える影響を比較して、データからグラガー因果関係を学習する。
  論文  参考訳（メタデータ） (2025-06-25T11:57:24Z)
• GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• Low-Resource Crop Classification from Multi-Spectral Time Series Using Lossless Compressors [6.379065975644869]
  深層学習は多スペクトル時間データを用いた作物分類の精度を大幅に向上させた。 ラベル付きサンプルが少ない低リソース環境では、深層学習モデルは不十分なデータのために性能が悪い。 本稿では,これらの状況に対処するために,ディープラーニングモデルに代わる非学習的代替案を提案する。
  論文  参考訳（メタデータ） (2024-05-28T12:28:12Z)
• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• How to Turn Your Knowledge Graph Embeddings into Generative Models [10.466244652188777]
  リンク予測のための最も成功した知識グラフ埋め込み(KGE)モデルは、エネルギーベースモデルとして解釈できる。 この研究は、これらのKGEのスコア関数を回路として再解釈する。 我々の解釈では、リンク予測のパフォーマンスがほとんど、あるいは全く失われていない。
  論文  参考訳（メタデータ） (2023-05-25T11:30:27Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Sequence-to-Sequence Knowledge Graph Completion and Question Answering [8.207403859762044]
  既製のエンコーダ・デコーダ変換器モデルは,スケーラブルで汎用的なKGEモデルとして機能することを示す。 我々は,KGリンク予測をシーケンス・ツー・シーケンス・タスクとして用い,従来のKGE手法による3つのスコアリングアプローチを自己回帰復号化と交換することで,これを実現する。
  論文  参考訳（メタデータ） (2022-03-19T13:01:49Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation [93.17367076148348]
  本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。 主な原因は、オブジェクト提案の不正確な分類である。 そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T12:49:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。