論文の概要: Comprehensive Evaluation for a Large Scale Knowledge Graph Question Answering Service

• arxiv url: http://arxiv.org/abs/2501.17270v1
• Date: Tue, 28 Jan 2025 20:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:53:44.775258
• Title: Comprehensive Evaluation for a Large Scale Knowledge Graph Question Answering Service
• Title（参考訳）: 大規模知識グラフ質問応答サービスの総合評価
• Authors: Saloni Potdar, Daniel Lee, Omar Attia, Varun Embar, De Meng, Ramesh Balaji, Chloe Seivwright, Eric Choi, Mina H. Farid, Yiwen Sun, Yunyao Li,
• Abstract要約: KGQAシステムは、知識を探索する自然言語クエリにおける関係や実体を理解する必要があるため、複雑である。 KGQAの総合評価フレームワークであるChronosを業界規模で紹介する。 このシステムは,(1)エンドツーエンドとコンポーネントレベルのメトリクス,(2)多様なデータセットへのスケーラビリティ,(3)リリース前のシステムパフォーマンスを測定するスケーラブルなアプローチを中心に,包括的にマルチコンポーネントシステムを評価するように設計されている。
• 参考スコア（独自算出の注目度）: 9.468878976626351
• License:
• Abstract: Question answering systems for knowledge graph (KGQA), answer factoid questions based on the data in the knowledge graph. KGQA systems are complex because the system has to understand the relations and entities in the knowledge-seeking natural language queries and map them to structured queries against the KG to answer them. In this paper, we introduce Chronos, a comprehensive evaluation framework for KGQA at industry scale. It is designed to evaluate such a multi-component system comprehensively, focusing on (1) end-to-end and component-level metrics, (2) scalable to diverse datasets and (3) a scalable approach to measure the performance of the system prior to release. In this paper, we discuss the unique challenges associated with evaluating KGQA systems at industry scale, review the design of Chronos, and how it addresses these challenges. We will demonstrate how it provides a base for data-driven decisions and discuss the challenges of using it to measure and improve a real-world KGQA system.
• Abstract（参考訳）: 知識グラフ(KGQA)に対する質問応答システムでは,知識グラフのデータに基づいて,ファクトイドな質問に回答する。 KGQAシステムは、知識を探索する自然言語クエリの関連性や実体を理解し、それをKGに対して構造化されたクエリにマッピングして答える必要があるため、複雑である。 本稿では,KGQAを産業規模で総合的に評価するフレームワークであるChronosを紹介する。 このシステムは,(1)エンドツーエンドとコンポーネントレベルのメトリクス,(2)多様なデータセットへのスケーラビリティ,(3)リリース前のシステムパフォーマンスを測定するスケーラブルなアプローチを中心に,包括的にマルチコンポーネントシステムを評価するように設計されている。 本稿では,KGQAシステムを産業規模で評価する上でのユニークな課題について論じる。 データ駆動型意思決定の基盤を提供する方法を実証し、実世界のKGQAシステムの測定と改善にそれを使う際の課題について議論する。

関連論文リスト

• An Adaptive Framework for Generating Systematic Explanatory Answer in Online Q&A Platforms [62.878616839799776]
  質問応答(QA)性能を向上させるために設計された,革新的なフレームワークであるSynthRAGを提案する。 SynthRAGは動的コンテンツの構造化に適応的なアウトラインを用いることで従来のモデルを改善する。 Zhihuプラットフォーム上のオンラインデプロイメントでは、SynthRAGの回答が注目すべきユーザエンゲージメントを実現していることが明らかになった。
  論文  参考訳（メタデータ） (2024-10-23T09:14:57Z)
• Context Graph [8.02985792541121]
  本稿では,大規模言語モデル(LLM)を活用して候補エンティティや関連するコンテキストを検索する,コンテキストグラフ推論のtextbfCGR$3$パラダイムを提案する。 実験の結果、CGR$3$はKG完了(KGC)およびKG質問応答(KGQA)タスクの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-06-17T02:59:19Z)
• EWEK-QA: Enhanced Web and Efficient Knowledge Graph Retrieval for Citation-based Question Answering Systems [103.91826112815384]
  引用ベースのQAシステムは2つの欠点に悩まされている。 彼らは通常、抽出された知識の源としてWebにのみ依存し、外部の知識ソースを追加することで、システムの効率を損なう。 システムに供給された知識の内容を充実させるため,Web と 効率的な知識グラフ (KG) 検索ソリューション (EWEK-QA) を提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:40:38Z)
• Question Answering Over Spatio-Temporal Knowledge Graph [13.422936134074629]
  時空間知識グラフ質問応答(STKGQA)を組み込んだ1万の自然言語質問からなるデータセットを提案する。 質問から時間的・空間的な情報を抽出することにより、質問をよりよく理解し、STKGから正確な回答を得られる。
  論文  参考訳（メタデータ） (2024-02-18T10:44:48Z)
• Reasoning over Multi-view Knowledge Graphs [59.99051368907095]
  ROMAは、マルチビューKG上で論理クエリに応答する新しいフレームワークである。 大規模(数百万の事実など)のKGや粒度の細かいビューまでスケールする。 トレーニング中に観測されていない構造やKGビューのクエリを一般化する。
  論文  参考訳（メタデータ） (2022-09-27T21:32:20Z)
• Evaluation of Question Answering Systems: Complexity of judging a natural language [3.4771957347698583]
  質問応答システム(QA)は、自然言語処理(NLP)において最も重要かつ急速に発展している研究課題の一つである。 本調査では,QAの枠組み,QAパラダイム,ベンチマークデータセット,およびQAシステムの定量的評価のための評価手法の体系的概要について述べる。
  論文  参考訳（メタデータ） (2022-09-10T12:29:04Z)
• Knowledge Graph Question Answering Leaderboard: A Community Resource to Prevent a Replication Crisis [61.740077541531726]
  コミュニティの焦点として、KGQAベンチマークデータセットに対して、新たな中心的でオープンなリーダボードを提供しています。 本分析は,KGQAシステムの評価において,既存の問題点を浮き彫りにする。
  論文  参考訳（メタデータ） (2022-01-20T13:46:01Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。