論文の概要: Knowledge Graph Question Answering Leaderboard: A Community Resource to Prevent a Replication Crisis

• arxiv url: http://arxiv.org/abs/2201.08174v1
• Date: Thu, 20 Jan 2022 13:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 18:01:59.535390
• Title: Knowledge Graph Question Answering Leaderboard: A Community Resource to Prevent a Replication Crisis
• Title（参考訳）: リーダボードに回答するナレッジグラフ: レプリケーション危機を防止するためのコミュニティリソース
• Authors: Aleksandr Perevalov, Xi Yan, Liubov Kovriguina, Longquan Jiang, Andreas Both, Ricardo Usbeck
• Abstract要約: コミュニティの焦点として、KGQAベンチマークデータセットに対して、新たな中心的でオープンなリーダボードを提供しています。 本分析は,KGQAシステムの評価において,既存の問題点を浮き彫りにする。
• 参考スコア（独自算出の注目度）: 61.740077541531726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-driven systems need to be evaluated to establish trust in the scientific approach and its applicability. In particular, this is true for Knowledge Graph (KG) Question Answering (QA), where complex data structures are made accessible via natural-language interfaces. Evaluating the capabilities of these systems has been a driver for the community for more than ten years while establishing different KGQA benchmark datasets. However, comparing different approaches is cumbersome. The lack of existing and curated leaderboards leads to a missing global view over the research field and could inject mistrust into the results. In particular, the latest and most-used datasets in the KGQA community, LC-QuAD and QALD, miss providing central and up-to-date points of trust. In this paper, we survey and analyze a wide range of evaluation results with significant coverage of 100 publications and 98 systems from the last decade. We provide a new central and open leaderboard for any KGQA benchmark dataset as a focal point for the community - https://kgqa.github.io/leaderboard. Our analysis highlights existing problems during the evaluation of KGQA systems. Thus, we will point to possible improvements for future evaluations.
• Abstract（参考訳）: データ駆動システムは、科学的アプローチとその適用性に対する信頼を確立するために評価する必要がある。 特にこれは、複雑なデータ構造が自然言語インターフェイスを介してアクセス可能にされた知識グラフ(kg)の質問応答(qa)において当てはまる。 これらのシステムの能力を評価することは、異なるKGQAベンチマークデータセットを確立しながら、10年以上にわたってコミュニティの原動力となっている。 しかし、異なるアプローチを比較するのは面倒です。 既存のリーダーボードの欠如は、研究分野に関する世界的な見解の欠如を招き、結果に不信を注入する可能性がある。 特に、KGQAコミュニティの最新で最も使われているデータセットであるLC-QuADとQALDは、中央および最新の信頼ポイントを提供していない。 本稿では,過去10年間の出版物100件,システム98件を対象に,幅広い評価結果を調査し分析した。 私たちは、コミュニティの焦点として、任意のkgqaベンチマークデータセットに対して、新しい中央およびオープンなリーダーボードを提供しています。 本分析では,KGQAシステムの評価において既存の問題点を取り上げている。 したがって、今後の評価の改善の可能性を示す。

関連論文リスト

• PeerQA: A Scientific Question Answering Dataset from Peer Reviews [51.95579001315713]
  実世界の科学的、文書レベルの質問回答データセットであるPeerQAを提示する。 データセットには208の学術論文から579のQAペアが含まれており、MLとNLPが多数を占めている。 収集したデータセットを詳細に分析し、3つのタスクのベースラインシステムを確立する実験を行う。
  論文  参考訳（メタデータ） (2025-02-19T12:24:46Z)
• Comprehensive Evaluation for a Large Scale Knowledge Graph Question Answering Service [9.468878976626351]
  KGQAシステムは、知識を探索する自然言語クエリにおける関係や実体を理解する必要があるため、複雑である。 KGQAの総合評価フレームワークであるChronosを業界規模で紹介する。 このシステムは,(1)エンドツーエンドとコンポーネントレベルのメトリクス,(2)多様なデータセットへのスケーラビリティ,(3)リリース前のシステムパフォーマンスを測定するスケーラブルなアプローチを中心に,包括的にマルチコンポーネントシステムを評価するように設計されている。
  論文  参考訳（メタデータ） (2025-01-28T20:02:10Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• Knowledge Graph Question Answering Datasets and Their Generalizability: Are They Enough for Future Research? [0.7817685358710509]
  5つの異なる知識グラフ(KGs)のためのよく知られたKGQAデータセット25の解析 この定義によれば、既存のオンラインKGQAデータセットの多くは、一般化可能なKGQAシステムのトレーニングには適していないか、あるいは、データセットが廃止および時代遅れのKGに基づいていることが示されている。 本稿では,利用可能なKGQAデータセットを再分割し,コストや手作業を伴わずに一般化を評価するための緩和手法を提案する。
  論文  参考訳（メタデータ） (2022-05-13T12:01:15Z)
• Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline [95.88825497452716]
  歩行ベンチマークにより、研究コミュニティは高性能歩行認識システムの訓練と評価を行うことができる。 GREWは、野生における歩行認識のための最初の大規模データセットである。 SPOSGaitはNASベースの最初の歩行認識モデルである。
  論文  参考訳（メタデータ） (2022-05-05T14:57:39Z)
• HeteroQA: Learning towards Question-and-Answering through Multiple Information Sources via Heterogeneous Graph Modeling [50.39787601462344]
  コミュニティ質問回答(Community Question Answering, CQA)は、Eコマースやオンラインユーザコミュニティなど、多くのシナリオで利用することができる、明確に定義されたタスクである。 CQAの手法のほとんどは、知識を抽出し、ユーザの質問に答えるために記事やウィキペディアしか含まない。 ユーザコミュニティに複数の情報ソース(MIS)を組み込んで回答を自動的に生成する問合せ対応の異種グラフ変換器を提案する。
  論文  参考訳（メタデータ） (2021-12-27T10:16:43Z)
• Question Answering Over Temporal Knowledge Graphs [20.479222151497495]
  時間的知識グラフ(Temporal Knowledge Graphs)は、KGの各エッジに時間的スコープ(開始時間と終了時間)を提供することによって、通常の知識グラフを拡張する。 KG に関する質問回答 (KGQA) は研究コミュニティから注目されているが、時間 KG に関する質問回答 (Temporal KGQA) は比較的未調査の分野である。 本稿では,時間的KGQAデータセットとして最大であるCRONQUESTIONSについて述べる。
  論文  参考訳（メタデータ） (2021-06-03T00:45:07Z)
• Benchmarking Graph Neural Networks [75.42159546060509]
  グラフニューラルネットワーク(GNN)は、グラフ上のデータから分析および学習するための標準ツールキットとなっている。 成功している分野が主流で信頼性を持つようになるためには、進捗を定量化するためにベンチマークを開発する必要がある。 GitHubリポジトリは1,800のスターと339のフォークに到達し、提案されているオープンソースフレームワークの有用性を実証している。
  論文  参考訳（メタデータ） (2020-03-02T15:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。