論文の概要: Knowledge Graph Question Answering Datasets and Their Generalizability: Are They Enough for Future Research?

• arxiv url: http://arxiv.org/abs/2205.06573v1
• Date: Fri, 13 May 2022 12:01:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 07:50:08.046947
• Title: Knowledge Graph Question Answering Datasets and Their Generalizability: Are They Enough for Future Research?
• Title（参考訳）: ナレッジグラフ 質問 データセットとその一般化:将来の研究に十分か?
• Authors: Longquan Jiang, Ricardo Usbeck
• Abstract要約: 5つの異なる知識グラフ(KGs)のためのよく知られたKGQAデータセット25の解析 この定義によれば、既存のオンラインKGQAデータセットの多くは、一般化可能なKGQAシステムのトレーニングには適していないか、あるいは、データセットが廃止および時代遅れのKGに基づいていることが示されている。 本稿では,利用可能なKGQAデータセットを再分割し,コストや手作業を伴わずに一般化を評価するための緩和手法を提案する。
• 参考スコア（独自算出の注目度）: 0.7817685358710509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing approaches on Question Answering over Knowledge Graphs (KGQA) have weak generalizability. That is often due to the standard i.i.d. assumption on the underlying dataset. Recently, three levels of generalization for KGQA were defined, namely i.i.d., compositional, zero-shot. We analyze 25 well-known KGQA datasets for 5 different Knowledge Graphs (KGs). We show that according to this definition many existing and online available KGQA datasets are either not suited to train a generalizable KGQA system or that the datasets are based on discontinued and out-dated KGs. Generating new datasets is a costly process and, thus, is not an alternative to smaller research groups and companies. In this work, we propose a mitigation method for re-splitting available KGQA datasets to enable their applicability to evaluate generalization, without any cost and manual effort. We test our hypothesis on three KGQA datasets, i.e., LC-QuAD, LC-QuAD 2.0 and QALD-9). Experiments on re-splitted KGQA datasets demonstrate its effectiveness towards generalizability. The code and a unified way to access 18 available datasets is online at https://github.com/semantic-systems/KGQA-datasets as well as https://github.com/semantic-systems/KGQA-datasets-generalization.
• Abstract（参考訳）: 知識グラフ(KGQA)に関する既存のアプローチは、弱い一般化性を持っている。 これはしばしば、基礎となるデータセットの標準 i.d. の仮定による。 近年、KGQAの一般化の3つのレベル、すなわち構成的、ゼロショットが定義されている。 5つの異なる知識グラフ(KGs)に対して、よく知られた25のKGQAデータセットを分析した。 この定義によれば、既存のオンラインKGQAデータセットの多くは、一般化可能なKGQAシステムのトレーニングには適していないか、あるいは、データセットが廃止および時代遅れのKGに基づいているかを示す。 新しいデータセットの生成はコストのかかるプロセスであり、小さな研究グループや企業に代わるものではない。 本研究では,利用可能なKGQAデータセットを再分割し,コストや手作業を伴わずに一般化を評価するための緩和手法を提案する。 我々は,3つのKGQAデータセット(LC-QuAD,LC-QuAD 2.0,QALD-9)で仮説を検証した。 KGQAデータセットの再分割実験は、その一般化性に対する効果を示す。 18の利用可能なデータセットにアクセスするためのコードと統一された方法は、https://github.com/semantic-systems/KGQA-datasetsとhttps://github.com/semantic-systems/KGQA-datasets-generalizationでオンライン公開されている。

関連論文リスト

• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• CR-LT-KGQA: A Knowledge Graph Question Answering Dataset Requiring Commonsense Reasoning and Long-Tail Knowledge [21.73770363188049]
  質問応答とクレーム検証という2つのサブタスクを備えた新しいCommonsense Reasoning(CR)とLong-Tail(LT)KGQAデータセットを作成します。 既存のKGQA法は、コモンセンス推論サポートの欠如により適用できないが、CR-LT KGQA上のLCMのベースライン評価は、幻覚の頻度が高いことを示している。
  論文  参考訳（メタデータ） (2024-03-03T04:47:01Z)
• GSQA: An End-to-End Model for Generative Spoken Question Answering [54.418723701886115]
  本稿では,システムに抽象的推論を強制するGSQA(Generative Spoken Question Answering)モデルを提案する。 本モデルでは, 抽出QAデータセットにおいて, 従来の抽出モデルよりも3%上回っている。 我々のGSQAモデルは、幅広い質問に一般化する可能性を示し、それによって、抽象的QAの音声質問応答能力をさらに拡張する。
  論文  参考訳（メタデータ） (2023-12-15T13:33:18Z)
• PyGraft: Configurable Generation of Synthetic Schemas and Knowledge Graphs at Your Fingertips [3.5923669681271257]
  PyGraftはPythonベースのツールで、カスタマイズされたドメインに依存しないスキーマとKGを生成する。 我々は,グラフベース機械学習(ML)などの領域において,新たなアプローチをベンチマークする上で,より多様なKGの生成を促進することを目的としている。 MLでは、モデルパフォーマンスと一般化能力のより包括的な評価が促進され、利用可能なベンチマークの限られたコレクションを超えることになる。
  論文  参考訳（メタデータ） (2023-09-07T13:00:09Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• Knowledge Graph Question Answering Leaderboard: A Community Resource to Prevent a Replication Crisis [61.740077541531726]
  コミュニティの焦点として、KGQAベンチマークデータセットに対して、新たな中心的でオープンなリーダボードを提供しています。 本分析は,KGQAシステムの評価において,既存の問題点を浮き彫りにする。
  論文  参考訳（メタデータ） (2022-01-20T13:46:01Z)
• HeteroQA: Learning towards Question-and-Answering through Multiple Information Sources via Heterogeneous Graph Modeling [50.39787601462344]
  コミュニティ質問回答(Community Question Answering, CQA)は、Eコマースやオンラインユーザコミュニティなど、多くのシナリオで利用することができる、明確に定義されたタスクである。 CQAの手法のほとんどは、知識を抽出し、ユーザの質問に答えるために記事やウィキペディアしか含まない。 ユーザコミュニティに複数の情報ソース(MIS)を組み込んで回答を自動的に生成する問合せ対応の異種グラフ変換器を提案する。
  論文  参考訳（メタデータ） (2021-12-27T10:16:43Z)
• Question Answering Over Temporal Knowledge Graphs [20.479222151497495]
  時間的知識グラフ(Temporal Knowledge Graphs)は、KGの各エッジに時間的スコープ(開始時間と終了時間)を提供することによって、通常の知識グラフを拡張する。 KG に関する質問回答 (KGQA) は研究コミュニティから注目されているが、時間 KG に関する質問回答 (Temporal KGQA) は比較的未調査の分野である。 本稿では,時間的KGQAデータセットとして最大であるCRONQUESTIONSについて述べる。
  論文  参考訳（メタデータ） (2021-06-03T00:45:07Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• What do Models Learn from Question Answering Datasets? [2.28438857884398]
  モデルが質問応答データセットから読み解きを学習しているかどうかを検討する。 我々は、ドメイン外の例に対する一般化可能性、欠落や不正なデータに対する応答、質問のバリエーションを扱う能力に関するモデルを評価する。 読解を通じて質問応答のタスクをよりよく評価する,将来的なQAデータセットの構築を推奨する。
  論文  参考訳（メタデータ） (2020-04-07T15:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。