論文の概要: Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings

• arxiv url: http://arxiv.org/abs/2606.03365v1
• Date: Tue, 02 Jun 2026 09:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 10:57:21.732869
• Title: Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings
• Title（参考訳）: リンク予測とパーディション:知識グラフ埋め込みにおける不安定の種数
• Authors: Guillaume Méroué, Fabien Gandon, Pierre Monnin,
• Abstract要約: 埋め込みモデル(KGEMs)は知識グラフの完全化のための主要なリンク予測手法である。 標準評価プロトコルは、MRRやHits@$K$のようなランクベースのメトリクスを強調するが、通常、結果の安定性に対するランダムシードの影響を見落としている。 高性能モデルでは, 3次元空間と高変数空間において, 分岐予測が実際に発生する。
• 参考スコア（独自算出の注目度）: 2.1174215880331766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embedding models (KGEMs) constitute the main link prediction approach to complete knowledge graphs. Standard evaluation protocols emphasize rank-based metrics such as MRR or Hits@$K$, but usually overlook the influence of random seeds on result stability. Moreover, these metrics conceal potential instabilities in individual predictions and in the organization of embedding spaces. In this work, we conduct a systematic stability analysis of multiple KGEMs across several datasets. We find that high-performance models actually produce divergent predictions at the triple level and highly variable embedding spaces. By isolating stochastic factors (i.e., initialization, triple ordering, negative sampling, dropout, hardware), we show that each independently induces instability of comparable magnitude. Furthermore, for a given model, hyperparameter configurations with better MRR are not guaranteed to be more stable. Moreover, voting, albeit a known remediation mechanism, only provides a limited enhancement of stability. These findings highlight critical limitations of current benchmarking protocols, and raise concerns about the reliability of KGEMs for knowledge graph completion.
• Abstract（参考訳）: 埋め込みモデル(KGEMs)は知識グラフの完全化のための主要なリンク予測手法である。 標準評価プロトコルは、MRRやHits@$K$のようなランクベースのメトリクスを強調するが、通常、結果の安定性に対するランダムシードの影響を見落としている。 さらに、これらの指標は、個々の予測や埋め込み空間の組織における潜在的な不安定性を隠蔽する。 本研究では,複数のデータセットにまたがる複数のKGEMの系統的安定性解析を行う。 高性能モデルが三重レベルと高度に可変な埋め込み空間で分岐予測を実際に生成していることが判明した。 確率因子(初期化、三次順序付け、ネガティブサンプリング、ドロップアウト、ハードウェア)を分離することにより、それぞれが独立に同等の大きさの不安定性を誘導することを示す。 さらに、与えられたモデルでは、より優れたMRRを持つハイパーパラメータ構成がより安定であることは保証されない。 さらに、投票は既知の修復メカニズムであるが、安定性を限定的に向上させるだけである。 これらの知見は、現在のベンチマークプロトコルの限界を強調し、知識グラフ補完のためのKGEMの信頼性に関する懸念を提起する。

関連論文リスト

• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• Is Capability a Liability? More Capable Language Models Make Worse Forecasts When It Matters Most [11.4807141145402]
  逆スケーリングでは、より有能なモデルでは、超線形成長を伴う問題を予測し、状態変化の尾リスクを予測し、分布予測が悪化する。 このパターンはForecastBench-Simで、線形制御にマッチした合成SIRの流行を予測し、COVID-19、麻疹、住宅市場、ハイパーインフレの実際のデータセットに複製する。 この逆スケーリングは、LLM予測ベンチマークに共通する単一閾値のメトリクスには現れず、同一出力における能力-正確性関係のサインを逆転させる。
  論文  参考訳（メタデータ） (2026-05-21T16:14:33Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Feature Attribution Stability Suite: How Stable Are Post-Hoc Attributions? [0.0]
  ポストホック特徴属性法は、安全クリティカルな視覚システムに広く展開されている。 本稿では,予測不変フィルタのベンチマークであるFeature Stability Suite (FASS)を紹介する。 FASSは安定性を,構造的類似性,ランク相関,トップkのJaccardオーバーラップという,3つの相補的な指標に分解する。
  論文  参考訳（メタデータ） (2026-04-02T21:32:54Z)
• Beyond the Mean: Distribution-Aware Loss Functions for Bimodal Regression [13.50774354486614]
  正規化RMSEとワッサースタイン距離とクラメール距離を組み合わせた分布認識損失関数のファミリーを提案する。 我々のフレームワークは、信頼性と堅牢性の両方においてMDNを厳格に支配し、信頼できるAIシステムにおけるアレタリック不確実性推定のための信頼性の高いツールを提供する。
  論文  参考訳（メタデータ） (2026-03-20T18:37:05Z)
• STAR : Bridging Statistical and Agentic Reasoning for Large Model Performance Prediction [78.0692157478247]
  本稿では,知識駆動型エージェント推論を用いて,データ駆動型静的予測を橋渡しするフレームワークSTARを提案する。 STARはスコアベースとランクベースの両方の基準線を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-12T16:30:07Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。