論文の概要: Out-of-Vocabulary Entities in Link Prediction

• arxiv url: http://arxiv.org/abs/2105.12524v1
• Date: Wed, 26 May 2021 12:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 13:13:38.644169
• Title: Out-of-Vocabulary Entities in Link Prediction
• Title（参考訳）: リンク予測における語彙外実体
• Authors: Caglar Demir and Axel-Cyrille Ngonga Ngomo
• Abstract要約: リンク予測はしばしば、埋め込みの品質を評価するプロキシとして使用される。 ベンチマークはアルゴリズムの公正な比較に欠かせないため、より良いソリューションを開発するための確固たる基盤を提供するため、その品質が確実に確保される。 我々は、そのようなエンティティの発見と削除のためのアプローチの実装を提供し、データセットWN18RR、FB15K-237、YAGO3-10の修正版を提供する。
• 参考スコア（独自算出の注目度）: 1.9036571490366496
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Knowledge graph embedding techniques are key to making knowledge graphs amenable to the plethora of machine learning approaches based on vector representations. Link prediction is often used as a proxy to evaluate the quality of these embeddings. Given that the creation of benchmarks for link prediction is a time-consuming endeavor, most work on the subject matter uses only a few benchmarks. As benchmarks are crucial for the fair comparison of algorithms, ensuring their quality is tantamount to providing a solid ground for developing better solutions to link prediction and ipso facto embedding knowledge graphs. First studies of benchmarks pointed to limitations pertaining to information leaking from the development to the test fragments of some benchmark datasets. We spotted a further common limitation of three of the benchmarks commonly used for evaluating link prediction approaches: out-of-vocabulary entities in the test and validation sets. We provide an implementation of an approach for spotting and removing such entities and provide corrected versions of the datasets WN18RR, FB15K-237, and YAGO3-10. Our experiments on the corrected versions of WN18RR, FB15K-237, and YAGO3-10 suggest that the measured performance of state-of-the-art approaches is altered significantly with p-values <1%, <1.4%, and <1%, respectively. Overall, state-of-the-art approaches gain on average absolute $3.29 \pm 0.24\%$ in all metrics on WN18RR. This means that some of the conclusions achieved in previous works might need to be revisited. We provide an open-source implementation of our experiments and corrected datasets at at https://github.com/dice-group/OOV-In-Link-Prediction.
• Abstract（参考訳）: 知識グラフの埋め込み技術は、ベクトル表現に基づく機械学習アプローチの多元性に相応しい知識グラフを作るための鍵となる。 リンク予測はしばしば、これらの埋め込みの品質を評価するプロキシとして使用される。 リンク予測のためのベンチマークの作成が時間を要する作業であることを考えると、この問題に関するほとんどの研究はほんの数ベンチマークしか使っていない。 ベンチマークはアルゴリズムの公正な比較に不可欠であるため、それらの品質を保証することは、リンク予測とipsoファクト埋め込み知識グラフのためのより良いソリューションを開発するための確固たる基盤となる。 ベンチマークの最初の研究は、開発からいくつかのベンチマークデータセットのテストフラグメントにリークする情報に関する制限を指摘した。 我々は、リンク予測アプローチの評価によく使われる3つのベンチマークのうち、テストおよび検証セットの語彙外エンティティのより一般的な制限を発見した。 このようなエンティティを検出・削除するアプローチの実装と、データセット wn18rr, fb15k-237, yago3-10 の修正版を提供する。 WN18RR, FB15K-237, YAGO3-10の補正版について行った実験から, 最先端手法の計測性能は, p値<1%, <1.4%, <1%で有意に変化したことが示唆された。 総じて、wn18rrのすべての指標において、最先端のアプローチは平均で3.29 \pm 0.24\%$である。 これは、以前の作品で達成された結論のいくつかを再考する必要があることを意味する。 実験と修正データセットをhttps://github.com/dice-group/OOV-In-Link-Predictionで公開しています。

関連論文リスト

• New Directions in Text Classification Research: Maximizing The Performance of Sentiment Classification from Limited Data [0.0]
  ベンチマークデータセットは、Kaesang Pangarep氏がPSIの議長として任命した問題に関するデータをトレーニングし、テストするためのものだ。 公式スコアはF1スコアであり、正、負、中立の3つのクラスで精度とリコールのバランスをとる。 スコアリング(ベースラインと最適化)はどちらもSVMメソッドを使用し、従来の機械学習手法では最先端と広く報告されている。
  論文  参考訳（メタデータ） (2024-07-08T05:42:29Z)
• KERMIT: Knowledge Graph Completion of Enhanced Relation Modeling with Inverse Transformation [19.31783654838732]
  大規模言語モデルを用いてコヒーレントな記述を生成し,クエリと回答のセマンティックなギャップを埋める。 また、逆関係を利用して対称グラフを作成し、KGCのための強化トレーニングサンプルを提供する。 提案手法は,WN18RRではHit@1が4.2%,FB15k-237ではHit@3が3.4%向上し,優れた性能を示した。
  論文  参考訳（メタデータ） (2023-09-26T09:03:25Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Cross Version Defect Prediction with Class Dependency Embeddings [17.110933073074584]
  欠陥の予測にはクラス依存性ネットワーク(CDN)を使用し、静的コードメトリクスと組み合わせています。 本手法では,手動でメトリクスを構築することなくCDN情報を活用するために,ネットワーク埋め込み技術を用いている。
  論文  参考訳（メタデータ） (2022-12-29T18:24:39Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Are Missing Links Predictable? An Inferential Benchmark for Knowledge Graph Completion [79.07695173192472]
  InferWikiは推論能力、仮定、パターンの既存のベンチマークを改善している。 各テストサンプルは、トレーニングセットの支持データで予測可能である。 実験では,大きさや構造が異なるInferWikiの2つの設定をキュレートし,比較データセットとしてCoDExに構築プロセスを適用する。
  論文  参考訳（メタデータ） (2021-08-03T09:51:15Z)
• COM2SENSE: A Commonsense Reasoning Benchmark with Complementary Sentences [21.11065466376105]
  常識推論は人間にとって直感的であるが、人工知能(AI)の長期的な課題である。 事前訓練された言語モデルの最近の進歩は、いくつかのCommonsenseベンチマークデータセットで有望な結果を示している。 本稿では,自然言語真偽文からなる新しいコモンセンス推論ベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2021-06-02T06:31:55Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。