論文の概要: Bringing Light Into the Dark: A Large-scale Evaluation of Knowledge Graph Embedding Models Under a Unified Framework

• arxiv url: http://arxiv.org/abs/2006.13365v5
• Date: Mon, 1 Nov 2021 16:26:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:32:37.393336
• Title: Bringing Light Into the Dark: A Large-scale Evaluation of Knowledge Graph Embedding Models Under a Unified Framework
• Title（参考訳）: 光を暗くする - 統一されたフレームワーク下での知識グラフ埋め込みモデルの大規模評価
• Authors: Mehdi Ali, Max Berrendorf, Charles Tapley Hoyt, Laurent Vermue, Mikhail Galkin, Sahand Sharifzadeh, Asja Fischer, Volker Tresp, Jens Lehmann
• Abstract要約: 我々はPyKEENソフトウェアパッケージで21のインタラクションモデルを再実装し評価した。 4つのデータセットに対して、数千の実験と24,804のGPU時間で大規模なベンチマークを行いました。
• 参考スコア（独自算出の注目度）: 31.35912529064612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The heterogeneity in recently published knowledge graph embedding models' implementations, training, and evaluation has made fair and thorough comparisons difficult. In order to assess the reproducibility of previously published results, we re-implemented and evaluated 21 interaction models in the PyKEEN software package. Here, we outline which results could be reproduced with their reported hyper-parameters, which could only be reproduced with alternate hyper-parameters, and which could not be reproduced at all as well as provide insight as to why this might be the case. We then performed a large-scale benchmarking on four datasets with several thousands of experiments and 24,804 GPU hours of computation time. We present insights gained as to best practices, best configurations for each model, and where improvements could be made over previously published best configurations. Our results highlight that the combination of model architecture, training approach, loss function, and the explicit modeling of inverse relations is crucial for a model's performances, and not only determined by the model architecture. We provide evidence that several architectures can obtain results competitive to the state-of-the-art when configured carefully. We have made all code, experimental configurations, results, and analyses that lead to our interpretations available at https://github.com/pykeen/pykeen and https://github.com/pykeen/benchmarking
• Abstract（参考訳）: モデルの実装、トレーニング、評価を組み込んだ知識グラフの異質性は、公正かつ徹底的な比較を困難にしている。 先述した結果の再現性を評価するため,pykeenソフトウェアパッケージに21のインタラクションモデルを再実装し,評価した。 報告したハイパーパラメータではどの結果が再現可能かは,別のハイパーパラメータでのみ再現可能であり,再現できないため,なぜこのような結果になるのかという知見を与えるため,概説する。 次に、4つのデータセットで大規模ベンチマークを行い、数千の実験と24,804gpu時間の計算を行った。 我々は、ベストプラクティス、各モデルのベスト設定、そして以前公開されたベスト設定よりも改善できる点について洞察を得る。 モデルアーキテクチャ、トレーニングアプローチ、損失関数、および逆関係の明示的なモデリングの組み合わせは、モデルアーキテクチャによって決定されるだけでなく、モデルの性能にとって重要であることを強調する。 いくつかのアーキテクチャが、慎重に設定された場合、最先端技術と競合する結果を得ることができることを示す。 コード、実験的な構成、結果、分析はhttps://github.com/pykeen/pykeenとhttps://github.com/pykeen/benchmarkingで利用可能です。

関連論文リスト

• Ensemble architecture in polyp segmentation [0.0]
  本研究では, 意味的セグメンテーションのアーキテクチャと, ポリープセグメンテーションに優れた評価モデルについて検討する。 最適な結果を得るために,異なるモデルの利点を利用する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-14T02:57:38Z)
• FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
  FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。 我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
  論文  参考訳（メタデータ） (2023-12-13T18:28:09Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• A Simple and efficient deep Scanpath Prediction [6.294759639481189]
  我々は、単純な完全な畳み込み回帰的な方法で、共通のディープラーニングアーキテクチャーを使用することの効率について検討する。 これらのモデルが2つのデータセットのスキャンパスをいかに予測できるかを実験する。 また、実験におけるパフォーマンスに基づいて、異なるレバレッジされたバックボーンアーキテクチャを比較して、どのアーキテクチャがタスクに最も適しているかを推定する。
  論文  参考訳（メタデータ） (2021-12-08T22:43:45Z)
• No One Representation to Rule Them All: Overlapping Features of Training Methods [12.58238785151714]
  ハイパフォーマンスモデルは、トレーニング方法論に関係なく、同様の予測をする傾向があります。 近年の研究では、大規模なコントラスト学習など、非常に異なるトレーニングテクニックが、競争的に高い精度で実現されている。 これらのモデルはデータの一般化に特化しており、より高いアンサンブル性能をもたらす。
  論文  参考訳（メタデータ） (2021-10-20T21:29:49Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search [9.634626241415916]
  リンク予測は、知識グラフ(KG)におけるエンティティ間の欠落した接続を予測するタスクである これまでの研究では、Automated Machine Learning(AutoML)を使用して、データセットに最適なモデルを探していた。 リンク予測タスクのための新しいニューラルネットワーク探索(NAS)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-18T03:34:09Z)
• Tidying Deep Saliency Prediction Architectures [6.613005108411055]
  本稿では,入力特徴,マルチレベル統合,読み出しアーキテクチャ,損失関数の4つの主成分を同定する。 我々はSimpleNet と MDNSal という2つの新しいエンドツーエンドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-10T19:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。