論文の概要: Realistic Re-evaluation of Knowledge Graph Completion Methods: An Experimental Study

• arxiv url: http://arxiv.org/abs/2003.08001v1
• Date: Wed, 18 Mar 2020 01:18:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 09:32:24.881177
• Title: Realistic Re-evaluation of Knowledge Graph Completion Methods: An Experimental Study
• Title（参考訳）: 知識グラフ補完手法の現実的再評価:実験的検討
• Authors: Farahnaz Akrami (1), Mohammed Samiul Saeef (1), Qingheng Zhang (2), Wei Hu (2), Chengkai Li (1) ((1) Department of Computer Science and Engineering, University of Texas at Arlington, (2) State Key Laboratory for Novel Software Technology, Nanjing University)
• Abstract要約: 本論文は,埋め込みモデルの真の有効性を評価することを目的とした,最初の体系的研究である。 実験の結果、これらのモデルは以前よりもはるかに精度が低いことが分かりました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the active research area of employing embedding models for knowledge graph completion, particularly for the task of link prediction, most prior studies used two benchmark datasets FB15k and WN18 in evaluating such models. Most triples in these and other datasets in such studies belong to reverse and duplicate relations which exhibit high data redundancy due to semantic duplication, correlation or data incompleteness. This is a case of excessive data leakage---a model is trained using features that otherwise would not be available when the model needs to be applied for real prediction. There are also Cartesian product relations for which every triple formed by the Cartesian product of applicable subjects and objects is a true fact. Link prediction on the aforementioned relations is easy and can be achieved with even better accuracy using straightforward rules instead of sophisticated embedding models. A more fundamental defect of these models is that the link prediction scenario, given such data, is non-existent in the real-world. This paper is the first systematic study with the main objective of assessing the true effectiveness of embedding models when the unrealistic triples are removed. Our experiment results show these models are much less accurate than what we used to perceive. Their poor accuracy renders link prediction a task without truly effective automated solution. Hence, we call for re-investigation of possible effective approaches.
• Abstract（参考訳）: 知識グラフの補完、特にリンク予測のタスクに埋め込みモデルを用いる活発な研究分野において、ほとんどの先行研究は2つのベンチマークデータセット fb15k と wn18 を用いた。 これらの研究における多くの3つのデータセットは、意味的重複、相関、データ不完全性による高いデータ冗長性を示す逆関係と重複関係に属する。 これは過剰なデータ漏洩のケースです – モデルが実際の予測に適用される必要がある場合に利用できない機能を使用して、モデルをトレーニングします。 また、適用対象と対象のデカルト積によって形成される全ての三重項が真の事実であるデカルト積関係もある。 上記の関係に関するリンク予測は簡単であり、洗練された埋め込みモデルではなく、単純な規則を用いてより正確な精度で実現できる。 これらのモデルのより根本的な欠点は、リンク予測のシナリオが実世界では存在しないことである。 本論文は,非現実的三重項除去時の埋め込みモデルの真の有効性を評価することを目的とした,最初の体系的研究である。 実験の結果、これらのモデルは以前よりもはるかに精度が低いことがわかった。 それらの精度の低さは、リンク予測を真に効果的な自動化ソリューションなしでタスクにします。 したがって、有効なアプローチの再検討が必要である。

関連論文リスト

• Beyond Accuracy: Ensuring Correct Predictions With Correct Rationales [10.397502254316645]
  二重補正予測のための二相予測手法を提案する。 まず、視覚認識タスクに対して構造化された合理性を提供する新しいデータセットをキュレートする。 第二に,視覚的エビデンスを解消し,局所化する際のモデル案内のための有理形最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T18:33:39Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Towards Causal Deep Learning for Vulnerability Detection [31.59558109518435]
  ソフトウェア工学モデルに計算に基づく因果学習を導入する。 以上の結果から,CausalVulはモデル精度,ロバスト性,OOD性能を一貫して改善した。
  論文  参考訳（メタデータ） (2023-10-12T00:51:06Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• An Empirical Study on Data Leakage and Generalizability of Link Prediction Models for Issues and Commits [7.061740334417124]
  LinkFormerは既存の予測の精度を保存し、改善する。 実世界のシナリオを効果的にシミュレートするためには、研究者はデータの時間的流れを維持する必要がある。
  論文  参考訳（メタデータ） (2022-11-01T10:54:26Z)
• Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
  本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。 我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。 結果のアルゴリズム(MnM)は概念的にはGANと似ている。
  論文  参考訳（メタデータ） (2021-10-06T13:43:27Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)
• Debiasing Skin Lesion Datasets and Models? Not So Fast [17.668005682385175]
  データリスク学習のバイアスから学んだモデルは、同じデータから。 モデルが現実世界の状況では見つからない急激な相関関係を学習すると、医療上の決定などの重要なタスクへの展開は破滅的なものになる。 将来有望な研究を示唆する興味深い結果にもかかわらず、現在の脱バイアス法は、スキン・レジオンモデルのバイアス問題を解決する準備ができていないことが判明した。
  論文  参考訳（メタデータ） (2020-04-23T21:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。