論文の概要: Reliable Academic Conference Question Answering: A Study Based on Large Language Model

• arxiv url: http://arxiv.org/abs/2310.13028v2
• Date: Mon, 5 Aug 2024 03:47:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 00:15:47.663450
• Title: Reliable Academic Conference Question Answering: A Study Based on Large Language Model
• Title（参考訳）: 信頼性のある学術会議質問応答:大規模言語モデルに基づく研究
• Authors: Zhiwei Huang, Juan Li, Long Jin, Junjie Wang, Mingchen Tu, Yin Hua, Zhiqiang Liu, Jiawei Meng, Wen Zhang,
• Abstract要約: 我々は,7つの学術会議からなるコンファレンスQAデータセットを開発した。 まず,学術会議データを木構造形式で半自動で整理する。 次に、質問応答ペアに注釈を付け、ペアを4つの異なるタイプに分類し、それらの難易度をよりよく区別する。
• 参考スコア（独自算出の注目度）: 18.126772173964753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the development of academic conferences fosters global scholarly communication, researchers consistently need to obtain accurate and up-to-date information about academic conferences. Since the information is scattered, using an intelligent question-answering system to efficiently handle researchers' queries and ensure awareness of the latest advancements is necessary. Recently, Large Language Models (LLMs) have demonstrated impressive capabilities in question answering, and have been enhanced by retrieving external knowledge to deal with outdated knowledge. However, these methods fail to work due to the lack of the latest conference knowledge. To address this challenge, we develop the ConferenceQA dataset, consisting of seven diverse academic conferences. Specifically, for each conference, we first organize academic conference data in a tree-structured format through a semi-automated method. Then we annotate question-answer pairs and classify the pairs into four different types to better distinguish their difficulty. With the constructed dataset, we further propose a novel method STAR (STructure-Aware Retrieval) to improve the question-answering abilities of LLMs, leveraging inherent structural information during the retrieval process. Experimental results on the ConferenceQA dataset show the effectiveness of our retrieval method. The dataset and code are available at https://github.com/zjukg/ConferenceQA.
• Abstract（参考訳）: 学術会議の発展がグローバルな学術コミュニケーションを促進するにつれ、研究者は一貫して学術会議に関する正確かつ最新の情報を得る必要がある。 情報は分散しているため、研究者のクエリを効率的に処理し、最新の進歩に対する認識を確保するためにインテリジェントな質問応答システムが必要である。 近年,Large Language Models (LLMs) は質問応答における印象的な能力を示し,古い知識を扱うために外部知識を取得することで強化されている。 しかし、最新のカンファレンス知識が欠如しているため、これらの手法は機能しない。 この課題に対処するため、我々は7つの多様な学術会議からなるコンファレンスQAデータセットを開発した。 具体的には,まず,学術会議データを木構造形式で半自動的に整理する。 次に、質問応答ペアに注釈を付け、ペアを4つの異なるタイプに分類し、それらの難易度をよりよく区別する。 構築したデータセットを用いて,LLMの質問応答能力を向上させるためのSTAR(Structure-Aware Retrieval)を提案する。 ConferenceQAデータセットの実験結果から,本手法の有効性が示された。 データセットとコードはhttps://github.com/zjukg/ConferenceQA.comで公開されている。

関連論文リスト

• Contri(e)ve: Context + Retrieve for Scholarly Question Answering [0.0]
  本稿では,オープンソースのLarge Language Model (LLM): Scholarly-QALDデータセット用のLlama3.1を提案する。 まず、異なる構造化データソースと非構造化データソースから質問に関連するコンテキストを抽出する。 第2に,LLMの情報検索性能を向上させるために,プロンプトエンジニアリングを実装した。
  論文  参考訳（メタデータ） (2024-09-13T17:38:47Z)
• Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
  自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。 高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。 標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
  論文  参考訳（メタデータ） (2024-06-19T05:43:02Z)
• ConvSDG: Session Data Generation for Conversational Search [29.211860955861244]
  本稿では,セッションデータ生成のための大規模言語モデル(LLM)を用いて,対話型検索の実現可能性を検討する枠組みを提案する。 このフレームワーク内では、教師なしおよび半教師なし学習による対話/セッションレベルおよびクエリレベルのデータ生成を設計する。 生成されたデータは、会話の密集したレトリバーを微調整するために使用される。
  論文  参考訳（メタデータ） (2024-03-17T20:34:40Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Improving Query-Focused Meeting Summarization with Query-Relevant Knowledge [71.14873115781366]
  本稿では,その課題に対処するため,知識認識要約器(KAS)と呼ばれる知識強化2段階のフレームワークを提案する。 最初の段階では、クエリ関連セグメント抽出を改善するために知識認識スコアを導入します。 第2段階では,クエリ関連知識を要約生成に取り入れる。
  論文  参考訳（メタデータ） (2023-09-05T10:26:02Z)
• ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering [70.6359636116848]
  本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。 我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
  論文  参考訳（メタデータ） (2022-10-07T23:48:50Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• Open-Retrieval Conversational Question Answering [62.11228261293487]
  オープン検索型対話型質問応答 (ORConvQA) の設定を導入する。 ORConvQAのエンド・ツー・エンドシステムを構築し,レトリバー,リランカ,およびすべてトランスフォーマーをベースとしたリーダを特徴とする。
  論文  参考訳（メタデータ） (2020-05-22T19:39:50Z)
• Conversations with Search Engines: SERP-based Conversational Response Generation [77.1381159789032]
  我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。 また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。 CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
  論文  参考訳（メタデータ） (2020-04-29T13:07:53Z)
• Talk to Papers: Bringing Neural Question Answering to Academic Search [8.883733362171034]
  Talk to Papersは、最近のオープンドメイン質問応答(QA)技術を利用して、学術検索の現在の経験を改善する。 研究者が自然言語クエリを使って正確な答えを見つけ、大量の学術論文から洞察を抽出できるように設計されています。
  論文  参考訳（メタデータ） (2020-04-04T19:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。