論文の概要: Reliable Academic Conference Question Answering: A Study Based on Large Language Model

• arxiv url: http://arxiv.org/abs/2310.13028v1
• Date: Thu, 19 Oct 2023 07:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 02:08:01.632099
• Title: Reliable Academic Conference Question Answering: A Study Based on Large Language Model
• Title（参考訳）: 信頼性のある学術会議質問応答:大規模言語モデルに基づく研究
• Authors: Zhiwei Huang, Long Jin, Junjie Wang, Mingchen Tu, Yin Hua, Zhiqiang Liu, Jiawei Meng, Huajun Chen, Wen Zhang
• Abstract要約: 我々は,人間アノテーションを用いた7つの学術会議のためのカンファレンスQAデータセットを開発した。 我々は、学術会議データを半構造化形式で整理するために、手動と自動の手法を組み合わせています。 データの信頼性を確保するため、各回答のソースを手動でアノテートする。
• 参考スコア（独自算出の注目度）: 38.83800315914221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of computer science has led to a proliferation of research presented at academic conferences, fostering global scholarly communication. Researchers consistently seek accurate, current information about these events at all stages. This data surge necessitates an intelligent question-answering system to efficiently address researchers' queries and ensure awareness of the latest advancements. The information of conferences is usually published on their official website, organized in a semi-structured way with a lot of text. To address this need, we have developed the ConferenceQA dataset for 7 diverse academic conferences with human annotations. Firstly, we employ a combination of manual and automated methods to organize academic conference data in a semi-structured JSON format. Subsequently, we annotate nearly 100 question-answer pairs for each conference. Each pair is classified into four different dimensions. To ensure the reliability of the data, we manually annotate the source of each answer. In light of recent advancements, Large Language Models (LLMs) have demonstrated impressive performance in various NLP tasks. They have demonstrated impressive capabilities in information-seeking question answering after instruction fine-tuning, and as such, we present our conference QA study based on LLM. Due to hallucination and outdated knowledge of LLMs, we adopt retrieval based methods to enhance LLMs' question-answering abilities. We have proposed a structure-aware retrieval method, specifically designed to leverage inherent structural information during the retrieval process. Empirical validation on the ConferenceQA dataset has demonstrated the effectiveness of this method. The dataset and code are readily accessible on https://github.com/zjukg/ConferenceQA.
• Abstract（参考訳）: コンピュータ科学の急速な成長により、学術会議で発表された研究が急増し、グローバルな学術的コミュニケーションが促進された。 研究者は一貫して、これらの出来事に関する正確な現在の情報を求める。 このデータサージは、研究者のクエリに効率的に対処し、最新の進歩を確実にするためのインテリジェントな質問応答システムを必要とする。 カンファレンスに関する情報は通常、公式ウェブサイトで公開され、大量のテキストで半構造化された方法で組織される。 このニーズに対処するため,我々は,人的アノテーションを用いた7つの学術会議のためのカンファレンスqaデータセットを開発した。 まず、学術会議データを半構造化JSON形式で整理するために、手動と自動の手法を組み合わせています。 その後、各カンファレンスに100近い質問対に注釈を付けます。 各組は4つの異なる次元に分けられる。 データの信頼性を確保するため、各回答のソースを手動でアノテートします。 最近の進歩を踏まえ、LLM(Large Language Models)は様々なNLPタスクにおいて顕著な性能を示した。 授業の微調整後の情報探索質問応答における印象的な機能を示した結果,LLMに基づくQA研究を報告した。 LLMの幻覚と時代遅れの知識により,LLMの質問応答能力を高める検索手法を採用した。 本研究では,検索過程において固有構造情報を活用する構造認識検索手法を提案する。 ConferenceQAデータセットの実証検証により,本手法の有効性が示された。 データセットとコードはhttps://github.com/zjukg/conferenceqaで簡単にアクセスできます。

関連論文リスト

• Contri(e)ve: Context + Retrieve for Scholarly Question Answering [0.0]
  本稿では,オープンソースのLarge Language Model (LLM): Scholarly-QALDデータセット用のLlama3.1を提案する。 まず、異なる構造化データソースと非構造化データソースから質問に関連するコンテキストを抽出する。 第2に,LLMの情報検索性能を向上させるために,プロンプトエンジニアリングを実装した。
  論文  参考訳（メタデータ） (2024-09-13T17:38:47Z)
• Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
  自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。 高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。 標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
  論文  参考訳（メタデータ） (2024-06-19T05:43:02Z)
• ConvSDG: Session Data Generation for Conversational Search [29.211860955861244]
  本稿では,セッションデータ生成のための大規模言語モデル(LLM)を用いて,対話型検索の実現可能性を検討する枠組みを提案する。 このフレームワーク内では、教師なしおよび半教師なし学習による対話/セッションレベルおよびクエリレベルのデータ生成を設計する。 生成されたデータは、会話の密集したレトリバーを微調整するために使用される。
  論文  参考訳（メタデータ） (2024-03-17T20:34:40Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Improving Query-Focused Meeting Summarization with Query-Relevant Knowledge [71.14873115781366]
  本稿では,その課題に対処するため,知識認識要約器(KAS)と呼ばれる知識強化2段階のフレームワークを提案する。 最初の段階では、クエリ関連セグメント抽出を改善するために知識認識スコアを導入します。 第2段階では,クエリ関連知識を要約生成に取り入れる。
  論文  参考訳（メタデータ） (2023-09-05T10:26:02Z)
• ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering [70.6359636116848]
  本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。 我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
  論文  参考訳（メタデータ） (2022-10-07T23:48:50Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• Open-Retrieval Conversational Question Answering [62.11228261293487]
  オープン検索型対話型質問応答 (ORConvQA) の設定を導入する。 ORConvQAのエンド・ツー・エンドシステムを構築し,レトリバー,リランカ,およびすべてトランスフォーマーをベースとしたリーダを特徴とする。
  論文  参考訳（メタデータ） (2020-05-22T19:39:50Z)
• Conversations with Search Engines: SERP-based Conversational Response Generation [77.1381159789032]
  我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。 また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。 CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
  論文  参考訳（メタデータ） (2020-04-29T13:07:53Z)
• Talk to Papers: Bringing Neural Question Answering to Academic Search [8.883733362171034]
  Talk to Papersは、最近のオープンドメイン質問応答(QA)技術を利用して、学術検索の現在の経験を改善する。 研究者が自然言語クエリを使って正確な答えを見つけ、大量の学術論文から洞察を抽出できるように設計されています。
  論文  参考訳（メタデータ） (2020-04-04T19:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。