論文の概要: SPAGHETTI: Open-Domain Question Answering from Heterogeneous Data Sources with Retrieval and Semantic Parsing

• arxiv url: http://arxiv.org/abs/2406.00562v1
• Date: Sat, 1 Jun 2024 21:54:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 06:15:52.125313
• Title: SPAGHETTI: Open-Domain Question Answering from Heterogeneous Data Sources with Retrieval and Semantic Parsing
• Title（参考訳）: SPAGHETTI: 検索と意味解析を併用した異種データからのオープンドメイン質問応答
• Authors: Heidi C. Zhang, Sina J. Semnani, Farhad Ghassemi, Jialiang Xu, Shicheng Liu, Monica S. Lam,
• Abstract要約: 本稿ではSPAGHETTI: Text Tables と Infoboxes のハイブリッド英語情報に対する意味的パーシング拡張生成について紹介する。 提案手法はCompmixデータセット上での最先端のパフォーマンスを56.5%の正確なマッチング(EM)レートで達成する。
• 参考スコア（独自算出の注目度）: 8.161704071989796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce SPAGHETTI: Semantic Parsing Augmented Generation for Hybrid English information from Text Tables and Infoboxes, a hybrid question-answering (QA) pipeline that utilizes information from heterogeneous knowledge sources, including knowledge base, text, tables, and infoboxes. Our LLM-augmented approach achieves state-of-the-art performance on the Compmix dataset, the most comprehensive heterogeneous open-domain QA dataset, with 56.5% exact match (EM) rate. More importantly, manual analysis on a sample of the dataset suggests that SPAGHETTI is more than 90% accurate, indicating that EM is no longer suitable for assessing the capabilities of QA systems today.
• Abstract（参考訳）: SPAGHETTI: Text Tables and Infoboxesによるハイブリッド英語情報のためのセマンティックパーシング拡張生成(Semantic Parsing Augmented Generation for Hybrid English information from Text Tables and Infoboxes)、知識ベース、テキスト、テーブル、インフォボックスを含む異種知識ソースからの情報を利用するハイブリッド質問応答パイプライン(QA)を紹介する。 我々のLLM拡張アプローチは、最も包括的かつヘテロジニアスなオープンドメインQAデータセットであるCompmixデータセット上で、56.5%の正確なマッチング(EM)レートで最先端のパフォーマンスを達成する。 さらに重要なことは、データセットのサンプルを手動で分析することで、SPAGHETTIが90%以上正確であることを示唆し、今日のQAシステムの能力を評価するのにEMはもはや適していないことを示している。

関連論文リスト

• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Integrating SPARQL and LLMs for Question Answering over Scholarly Data Sources [0.0]
  本稿では,SPARQLクエリ,分割と計算アルゴリズム,およびBERTベースのケース-SQuad2予測を組み合わせた方法論について述べる。 Exact MatchとFスコアのメトリクスで評価されたこの手法は、学術的な文脈におけるQAの精度と効率を改善することを約束している。
  論文  参考訳（メタデータ） (2024-09-11T14:50:28Z)
• Deep Learning Based Named Entity Recognition Models for Recipes [7.507956305171027]
  名前付きエンティティ認識(NER)は、構造化されていない、または半構造化されていないデータから既知のラベルで情報を抽出する技術である。 私たちは26,445のフレーズを累積してデータセットを作成しました。 金本位レシピデータレポジトリRecipeDBの成分句を分析し,Stanford NERを用いて注釈した。 深層学習に基づく言語モデルの統計的、微調整を含むこれらのデータセットに対するNERアプローチの徹底的な調査は、深い洞察を与える。
  論文  参考訳（メタデータ） (2024-02-27T12:03:56Z)
• Exploring the Impact of Table-to-Text Methods on Augmenting LLM-based Question Answering with Domain Hybrid Data [29.07028542633284]
  テーブル・トゥ・テキスト生成は、ハイブリッドデータの一様テキスト形式のコーパスへの変換を容易にする、有望なソリューションである。 現在、異なるテーブル・ツー・テキスト・メソッドによって生成されたコーパスがQAシステムの性能に与える影響について比較分析は行われていない。 本稿では,LLMベースのQAシステムをドメインハイブリッドデータで拡張するフレームワークに,テーブル・ツー・テキスト生成を革新的に統合する。
  論文  参考訳（メタデータ） (2024-02-20T10:00:58Z)
• A Dataset of Open-Domain Question Answering with Multiple-Span Answers [11.291635421662338]
  マルチスパン回答抽出(Multi-span answer extract)は、マルチスパン質問応答(MSQA)のタスクとしても知られ、現実世界のアプリケーションにとって重要な課題である。 中国語ではMSQAベンチマークが公開されていない。 CLEANは、中国の総合的なマルチスパン質問応答データセットである。
  論文  参考訳（メタデータ） (2024-02-15T13:03:57Z)
• LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
  我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。 我々は最先端の要約モデルを用いてベースラインを確立する。 複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T14:53:45Z)
• Mixed-modality Representation Learning and Pre-training for Joint Table-and-Text Retrieval in OpenQA [85.17249272519626]
  最適化された OpenQA Table-Text Retriever (OTTeR) を提案する。 検索中心の混合モード合成事前学習を行う。 OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に改善する。
  論文  参考訳（メタデータ） (2022-10-11T07:04:39Z)
• Retrieval Enhanced Data Augmentation for Question Answering on Privacy Policies [74.01792675564218]
  本研究では,ラベルのないポリシー文書から関連するテキストセグメントを抽出する検索モデルに基づくデータ拡張フレームワークを開発する。 拡張データの多様性と品質を改善するために,複数の事前学習言語モデル(LM)を活用し,ノイズ低減フィルタモデルでそれらをカスケードする。 PrivacyQAベンチマークの強化データを使用して、既存のベースラインを大きなマージン(10% F1)に高め、新しい最先端のF1スコアを50%達成します。
  論文  参考訳（メタデータ） (2022-04-19T15:45:23Z)
• HeteroQA: Learning towards Question-and-Answering through Multiple Information Sources via Heterogeneous Graph Modeling [50.39787601462344]
  コミュニティ質問回答(Community Question Answering, CQA)は、Eコマースやオンラインユーザコミュニティなど、多くのシナリオで利用することができる、明確に定義されたタスクである。 CQAの手法のほとんどは、知識を抽出し、ユーザの質問に答えるために記事やウィキペディアしか含まない。 ユーザコミュニティに複数の情報ソース(MIS)を組み込んで回答を自動的に生成する問合せ対応の異種グラフ変換器を提案する。
  論文  参考訳（メタデータ） (2021-12-27T10:16:43Z)
• Open Domain Question Answering over Virtual Documents: A Unified Approach for Data and Text [62.489652395307914]
  我々は、知識集約型アプリケーションのための構造化知識を符号化する手段として、Data-to-text法、すなわち、オープンドメイン質問応答(QA)を用いる。 具体的には、ウィキペディアとウィキソースの3つのテーブルを付加知識源として使用する、データとテキスト上でのオープンドメインQAのための冗長化-レトリバー・リーダー・フレームワークを提案する。 UDT-QA(Unified Data and Text QA)は,知識インデックスの拡大を効果的に活用できることを示す。
  論文  参考訳（メタデータ） (2021-10-16T00:11:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。