論文の概要: Automatic Dataset Generation for Knowledge Intensive Question Answering Tasks

• arxiv url: http://arxiv.org/abs/2505.14212v1
• Date: Tue, 20 May 2025 11:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.08726
• Title: Automatic Dataset Generation for Knowledge Intensive Question Answering Tasks
• Title（参考訳）: 知識集中型質問応答タスクのための自動データセット生成
• Authors: Sizhe Yuen, Ting Su, Ziyang Wang, Yali Du, Adam J. Sobey,
• Abstract要約: 本稿では,知識集約型QAタスクにおけるLarge Language Models(LLMs)の拡張手法を提案する。 提案システムは,自動QAジェネレータとモデルファインタナーを備え,パープレキシティ,ROUGE,BLEU,BERTScoreを用いて評価する。 実験は、適応型人工知能(AI)システムの開発において、論理的コヒーレンスと事実的精度の改善を示す。
• 参考スコア（独自算出の注目度）: 10.562940259841623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A question-answering (QA) system is to search suitable answers within a knowledge base. Current QA systems struggle with queries requiring complex reasoning or real-time knowledge integration. They are often supplemented with retrieval techniques on a data source such as Retrieval-Augmented Generation (RAG). However, RAG continues to face challenges in handling complex reasoning and logical connections between multiple sources of information. A novel approach for enhancing Large Language Models (LLMs) in knowledge-intensive QA tasks is presented through the automated generation of context-based QA pairs. This methodology leverages LLMs to create fine-tuning data, reducing reliance on human labelling and improving model comprehension and reasoning capabilities. The proposed system includes an automated QA generator and a model fine-tuner, evaluated using perplexity, ROUGE, BLEU, and BERTScore. Comprehensive experiments demonstrate improvements in logical coherence and factual accuracy, with implications for developing adaptable Artificial Intelligence (AI) systems. Mistral-7b-v0.3 outperforms Llama-3-8b with BERT F1, BLEU, and ROUGE scores 0.858, 0.172, and 0.260 of for the LLM generated QA pairs compared to scores of 0.836, 0.083, and 0.139 for the human annotated QA pairs.
• Abstract（参考訳）: 質問応答システム(QA)とは,知識ベース内で適切な回答を探索することである。 現在のQAシステムは、複雑な推論やリアルタイム知識の統合を必要とするクエリに苦慮している。 しばしば、Retrieval-Augmented Generation (RAG) などのデータソース上の検索技術で補完される。 しかしながら、RAGは複数の情報ソース間の複雑な推論と論理的接続を扱う際の課題に直面し続けている。 知識集約型QAタスクにおけるLarge Language Models(LLM)の拡張のための新しいアプローチを,コンテキストベースのQAペアの自動生成を通じて提示する。 この手法はLLMを活用して微調整データを作成し、人間のラベル付けへの依存を減らし、モデルの理解と推論能力を向上させる。 提案システムは,自動QAジェネレータとモデルファインタナーを備え,パープレキシティ,ROUGE,BLEU,BERTScoreを用いて評価する。 総合的な実験は、論理的一貫性と事実的精度の改善を示し、適応型人工知能(AI)システムの開発に寄与する。 Mistral-7b-v0.3はLlama-3-8bをBERT F1,BLEU,ROUGEスコア0.858,0.172,0.260で上回った。

関連論文リスト

• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Enhancing textual textbook question answering with large language models and retrieval augmented generation [3.6799953119508735]
  本稿では、検索拡張生成(RAG)技術を組み込んだフレームワーク(PLRTQA)を提案する。 我々のアーキテクチャはベースラインよりも優れており、検証セットが4.12%、テストセットが9.84%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-02-05T11:58:56Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Improving Question Answering with Generation of NQ-like Questions [12.276281998447079]
  QA ( Question Answering) システムは大量の注釈付きデータを必要とする。 本研究では,Quizbowl(QB)データセットの長いトリビア質問からNatural Questions(NQ)データセットにおいて,日々のコミュニケーションに似た短い質問を自動的に生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-12T21:36:20Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。