論文の概要: Breaking Rank Bottlenecks in Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2506.22271v1
• Date: Fri, 27 Jun 2025 14:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.238462
• Title: Breaking Rank Bottlenecks in Knowledge Graph Completion
• Title（参考訳）: 知識グラフ補完におけるランクボトムネックの破滅
• Authors: Samy Badreddine, Emile van Krieken, Luciano Serafini,
• Abstract要約: 多くの知識グラフ補完(KGC)モデルは、単純なベクトル行列乗法に頼り、候補となるオブジェクトに対してクエリをスコアする。 ランクボトルネックがKGCモデルにどのように影響するかを理論的および実証的に検討する。 KGCモデルのランクボトルネックを解消する混合出力層であるKGE-MoSを提案する。
• 参考スコア（独自算出の注目度）: 8.441426008849614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many Knowledge Graph Completion (KGC) models, despite using powerful encoders, rely on a simple vector-matrix multiplication to score queries against candidate object entities. When the number of entities is larger than the model's embedding dimension, which in practical scenarios is often by several orders of magnitude, we have a linear output layer with a rank bottleneck. Such bottlenecked layers limit model expressivity. We investigate both theoretically and empirically how rank bottlenecks affect KGC models. We find that, by limiting the set of feasible predictions, rank bottlenecks hurt ranking accuracy and the distribution fidelity of scores. Inspired by the language modelling literature, we propose KGE-MoS, a mixture-based output layer to break rank bottlenecks in many KGC models. Our experiments on four datasets show that KGE-MoS improves performance and probabilistic fit of KGC models for a low parameter cost.
• Abstract（参考訳）: 強力なエンコーダを使用するにもかかわらず、多くの知識グラフ補完(KGC)モデルは、候補オブジェクトエンティティに対してクエリをスコアする単純なベクトル行列乗法に依存している。 実体の数がモデルの埋め込み次元よりも大きい場合、実際のシナリオでは、しばしば数桁の桁数で表されるため、ランクボトルネックを持つ線形出力層が存在する。 このようなボトルネックのあるレイヤは、モデル表現性を制限します。 ランクボトルネックがKGCモデルにどのように影響するかを理論的および実証的に検討する。 その結果,有望な予測のセットを制限することで,ランクボトルネックがランキング精度やスコアの分布忠実度を損なうことがわかった。 言語モデリングの文献から着想を得たKGE-MoSは,多くのKGCモデルにおけるランクボトルネックを解消する混合出力層である。 4つのデータセットに対する実験により,KGE-MoSは低パラメータコストでKGCモデルの性能と確率的適合性を向上することが示された。

関連論文リスト

• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• On the ability of Deep Neural Networks to Learn Granger Causality in Multi-Variate Time Series Data [8.33049663808736]
  本稿では、正規化されたモデルが、損失関数に項を明示的に加えることなく、データから真のGC構造を学習できることを示す。 また、入力層ドロップアウトがニューラルネットワークに与える影響を比較して、データからグラガー因果関係を学習する。
  論文  参考訳（メタデータ） (2025-06-25T11:57:24Z)
• GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• Low-Resource Crop Classification from Multi-Spectral Time Series Using Lossless Compressors [6.379065975644869]
  深層学習は多スペクトル時間データを用いた作物分類の精度を大幅に向上させた。 ラベル付きサンプルが少ない低リソース環境では、深層学習モデルは不十分なデータのために性能が悪い。 本稿では,これらの状況に対処するために,ディープラーニングモデルに代わる非学習的代替案を提案する。
  論文  参考訳（メタデータ） (2024-05-28T12:28:12Z)
• Gradformer: Graph Transformer with Exponential Decay [69.50738015412189]
  グラフ変換器(GT)の自己保持機構は、グラフの帰納バイアス、特に構造に関するバイアスを見落としている。 本稿では,GTと本質的帰納バイアスを革新的に統合するGradformerを提案する。 GradformerはグラフニューラルネットワークやGTベースラインモデルよりも、さまざまなグラフ分類や回帰タスクにおいて一貫して優れています。
  論文  参考訳（メタデータ） (2024-04-24T08:37:13Z)
• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• Model-based Subsampling for Knowledge Graph Completion [34.15053303169282]
  サブサンプリングは、知識グラフデータセットのスパーシリティに起因する過度な適合を低減するために、知識グラフ埋め込み(KGE)に有効である。 モデルベースサブサンプリング(MBS)とMIX(Mixed Subsampling)を提案し,その出現確率をKGEモデルの予測により推定する。
  論文  参考訳（メタデータ） (2023-09-17T15:12:50Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Schema First! Learn Versatile Knowledge Graph Embeddings by Capturing Semantics with MASCHInE [3.174882428337821]
  近年,知識グラフ埋め込みモデル (KGEMs) が注目されている。 本研究では,RDF/S情報を活用するKGの小型改良版であるプロトグラフを設計する。 学習されたプロトグラフベースの埋め込みは、KGのセマンティクスをカプセル化することを目的としており、KGEの学習に利用することができる。
  論文  参考訳（メタデータ） (2023-06-06T13:22:54Z)
• How to Turn Your Knowledge Graph Embeddings into Generative Models [10.466244652188777]
  リンク予測のための最も成功した知識グラフ埋め込み(KGE)モデルは、エネルギーベースモデルとして解釈できる。 この研究は、これらのKGEのスコア関数を回路として再解釈する。 我々の解釈では、リンク予測のパフォーマンスがほとんど、あるいは全く失われていない。
  論文  参考訳（メタデータ） (2023-05-25T11:30:27Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Sequence-to-Sequence Knowledge Graph Completion and Question Answering [8.207403859762044]
  既製のエンコーダ・デコーダ変換器モデルは,スケーラブルで汎用的なKGEモデルとして機能することを示す。 我々は,KGリンク予測をシーケンス・ツー・シーケンス・タスクとして用い,従来のKGE手法による3つのスコアリングアプローチを自己回帰復号化と交換することで,これを実現する。
  論文  参考訳（メタデータ） (2022-03-19T13:01:49Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Deepened Graph Auto-Encoders Help Stabilize and Enhance Link Prediction [11.927046591097623]
  リンク予測は、浅層グラフオートエンコーダ(GAE)アーキテクチャの1層または2層に基づく現在の最先端モデルを用いて、比較的未研究のグラフ学習タスクである。 本論文では,浅いGAEと変動GAEしか使用できないリンク予測の現在の手法の限界に対処することに焦点をあてる。 提案手法はGAEのアーキテクチャに標準オートエンコーダ(AE)を革新的に組み込んでおり、標準AEは隣接情報とノード機能をシームレスに統合することで必要不可欠な低次元表現を学習する。
  論文  参考訳（メタデータ） (2021-03-21T14:43:10Z)
• The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation [93.17367076148348]
  本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。 主な原因は、オブジェクト提案の不正確な分類である。 そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T12:49:07Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。