論文の概要: AMAQA: A Metadata-based QA Dataset for RAG Systems

• arxiv url: http://arxiv.org/abs/2505.13557v1
• Date: Mon, 19 May 2025 08:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.439123
• Title: AMAQA: A Metadata-based QA Dataset for RAG Systems
• Title（参考訳）: AMAQA: RAGシステムのためのメタデータベースのQAデータセット
• Authors: Davide Bruni, Marco Avvenuti, Nicola Tonellotto, Maurizio Tesconi,
• Abstract要約: AMAQAは、テキストとメタデータを組み合わせたタスクを評価するために設計された、新しいオープンアクセスQAデータセットである。 AMAQAには26の公開Telegramグループから集められた約1100万の英語メッセージが含まれている。 メタデータを活用することで精度が0.12から0.61に向上し、構造化コンテキストの価値が強調される。
• 参考スコア（独自算出の注目度）: 7.882922366782987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) systems are widely used in question-answering (QA) tasks, but current benchmarks lack metadata integration, hindering evaluation in scenarios requiring both textual data and external information. To address this, we present AMAQA, a new open-access QA dataset designed to evaluate tasks combining text and metadata. The integration of metadata is especially important in fields that require rapid analysis of large volumes of data, such as cybersecurity and intelligence, where timely access to relevant information is critical. AMAQA includes about 1.1 million English messages collected from 26 public Telegram groups, enriched with metadata such as timestamps, topics, emotional tones, and toxicity indicators, which enable precise and contextualized queries by filtering documents based on specific criteria. It also includes 450 high-quality QA pairs, making it a valuable resource for advancing research on metadata-driven QA and RAG systems. To the best of our knowledge, AMAQA is the first single-hop QA benchmark to incorporate metadata and labels such as topics covered in the messages. We conduct extensive tests on the benchmark, establishing a new standard for future research. We show that leveraging metadata boosts accuracy from 0.12 to 0.61, highlighting the value of structured context. Building on this, we explore several strategies to refine the LLM input by iterating over provided context and enriching it with noisy documents, achieving a further 3-point gain over the best baseline and a 14-point improvement over simple metadata filtering. The dataset is available at https://anonymous.4open.science/r/AMAQA-5D0D/
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) システムはQAタスクで広く使われているが、現在のベンチマークではメタデータの統合が欠如しており、テキストデータと外部情報の両方を必要とするシナリオの評価が妨げられている。 そこで本研究では,テキストとメタデータを組み合わせたタスク評価を目的とした,新しいオープンアクセスQAデータセットであるAMAQAを提案する。 メタデータの統合は、サイバーセキュリティやインテリジェンスといった大量のデータを迅速に分析する必要がある分野において特に重要であり、関連する情報へのタイムリーなアクセスが重要である。 AMAQAには、26の公開Telegramグループから収集された約1100万の英語メッセージが含まれており、タイムスタンプ、トピック、感情的トーン、毒性指標などのメタデータが豊富に含まれており、特定の基準に基づいて文書をフィルタリングすることで、正確で文脈化されたクエリを可能にする。 また、450の高品質なQAペアが含まれており、メタデータ駆動のQAとRAGシステムの研究を進める上で貴重なリソースとなっている。 私たちの知る限りでは、AMAQAはメッセージでカバーされるトピックのようなメタデータやラベルを組み込んだ最初のシングルホップQAベンチマークです。 ベンチマークで広範なテストを実施し、将来の研究のための新しい標準を確立します。 メタデータを活用することで精度が0.12から0.61に向上し、構造化コンテキストの価値が強調される。 提案手法は,提案したコンテキストを反復処理し,ノイズの多い文書で拡張し,最高のベースラインよりもさらに3ポイント向上し,単純なメタデータフィルタリングよりも14ポイント改善することで,LCMの入力を洗練するためのいくつかの戦略を探求する。 データセットはhttps://anonymous.4open.science/r/AMAQA-5D0D/で公開されている。

関連論文リスト

• PeerQA: A Scientific Question Answering Dataset from Peer Reviews [51.95579001315713]
  実世界の科学的、文書レベルの質問回答データセットであるPeerQAを提示する。 データセットには208の学術論文から579のQAペアが含まれており、MLとNLPが多数を占めている。 収集したデータセットを詳細に分析し、3つのタスクのベースラインシステムを確立する実験を行う。
  論文  参考訳（メタデータ） (2025-02-19T12:24:46Z)
• QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
  本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。 RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。 本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
  論文  参考訳（メタデータ） (2025-01-06T01:07:59Z)
• AmazonQAC: A Large-Scale, Naturalistic Query Autocomplete Dataset [14.544120039123934]
  395万のサンプルからなるAmazon Searchログをソースとした,新たなQACデータセットであるAmazonQACを紹介する。 データセットには、最終検索語につながるユーザタイププレフィックスの実際のシーケンスと、セッションIDとタイムスタンプが含まれている。 修正木,意味検索,Large Language Models (LLMs) を微調整なしで評価する。
  論文  参考訳（メタデータ） (2024-10-22T21:11:34Z)
• LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
  我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。 我々は最先端の要約モデルを用いてベースラインを確立する。 複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T14:53:45Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Detect, Retrieve, Comprehend: A Flexible Framework for Zero-Shot Document-Level Question Answering [6.224211330728391]
  研究者は貴重な技術知識を含む何千もの学術文書を作成した。 文書レベルの質問応答(QA)は、人間の提案する質問を適応して多様な知識を抽出できる柔軟なフレームワークを提供する。 本稿では,PDFからテキストを抽出する3段階の文書QAアプローチ,抽出したテキストからエビデンスを抽出して適切な文脈を形成する方法,文脈から知識を抽出して高品質な回答を返すためのQAを提案する。
  論文  参考訳（メタデータ） (2022-10-04T23:33:52Z)
• Intermediate Training on Question Answering Datasets Improves Generative Data Augmentation [32.83012699501051]
  我々は、コンテキスト生成タスクとしてデータ生成を定式化することにより、生成データ拡張を改善する。 ダウンストリームタスクを質問応答形式に投入し、微調整されたコンテキストジェネレータをターゲットタスク領域に適応させる。 少数ショット、ゼロショット設定で、パフォーマンスが大幅に改善されたことを実証します。
  論文  参考訳（メタデータ） (2022-05-25T09:28:21Z)
• Retrieval Enhanced Data Augmentation for Question Answering on Privacy Policies [74.01792675564218]
  本研究では,ラベルのないポリシー文書から関連するテキストセグメントを抽出する検索モデルに基づくデータ拡張フレームワークを開発する。 拡張データの多様性と品質を改善するために,複数の事前学習言語モデル(LM)を活用し,ノイズ低減フィルタモデルでそれらをカスケードする。 PrivacyQAベンチマークの強化データを使用して、既存のベースラインを大きなマージン(10% F1)に高め、新しい最先端のF1スコアを50%達成します。
  論文  参考訳（メタデータ） (2022-04-19T15:45:23Z)
• HeteroQA: Learning towards Question-and-Answering through Multiple Information Sources via Heterogeneous Graph Modeling [50.39787601462344]
  コミュニティ質問回答(Community Question Answering, CQA)は、Eコマースやオンラインユーザコミュニティなど、多くのシナリオで利用することができる、明確に定義されたタスクである。 CQAの手法のほとんどは、知識を抽出し、ユーザの質問に答えるために記事やウィキペディアしか含まない。 ユーザコミュニティに複数の情報ソース(MIS)を組み込んで回答を自動的に生成する問合せ対応の異種グラフ変換器を提案する。
  論文  参考訳（メタデータ） (2021-12-27T10:16:43Z)
• More Than Reading Comprehension: A Survey on Datasets and Metrics of Textual Question Answering [7.776227936353711]
  テキスト質問回答(英語: Textual Question Answering, QA)は、非構造化データを用いた自然言語におけるユーザの質問に対する正確な回答を提供することを目的としている。 本稿では,47の最近のテキストQAベンチマークデータセットを調査し,アプリケーションの観点から新しい分類法を提案する。
  論文  参考訳（メタデータ） (2021-09-25T02:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。