論文の概要: Reliable Academic Conference Question Answering: A Study Based on Large Language Model
- arxiv url: http://arxiv.org/abs/2310.13028v2
- Date: Mon, 5 Aug 2024 03:47:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 00:15:47.663450
- Title: Reliable Academic Conference Question Answering: A Study Based on Large Language Model
- Title(参考訳): 信頼性のある学術会議質問応答:大規模言語モデルに基づく研究
- Authors: Zhiwei Huang, Juan Li, Long Jin, Junjie Wang, Mingchen Tu, Yin Hua, Zhiqiang Liu, Jiawei Meng, Wen Zhang,
- Abstract要約: 我々は,7つの学術会議からなるコンファレンスQAデータセットを開発した。
まず,学術会議データを木構造形式で半自動で整理する。
次に、質問応答ペアに注釈を付け、ペアを4つの異なるタイプに分類し、それらの難易度をよりよく区別する。
- 参考スコア(独自算出の注目度): 18.126772173964753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the development of academic conferences fosters global scholarly communication, researchers consistently need to obtain accurate and up-to-date information about academic conferences. Since the information is scattered, using an intelligent question-answering system to efficiently handle researchers' queries and ensure awareness of the latest advancements is necessary. Recently, Large Language Models (LLMs) have demonstrated impressive capabilities in question answering, and have been enhanced by retrieving external knowledge to deal with outdated knowledge. However, these methods fail to work due to the lack of the latest conference knowledge. To address this challenge, we develop the ConferenceQA dataset, consisting of seven diverse academic conferences. Specifically, for each conference, we first organize academic conference data in a tree-structured format through a semi-automated method. Then we annotate question-answer pairs and classify the pairs into four different types to better distinguish their difficulty. With the constructed dataset, we further propose a novel method STAR (STructure-Aware Retrieval) to improve the question-answering abilities of LLMs, leveraging inherent structural information during the retrieval process. Experimental results on the ConferenceQA dataset show the effectiveness of our retrieval method. The dataset and code are available at https://github.com/zjukg/ConferenceQA.
- Abstract(参考訳): 学術会議の発展がグローバルな学術コミュニケーションを促進するにつれ、研究者は一貫して学術会議に関する正確かつ最新の情報を得る必要がある。
情報は分散しているため、研究者のクエリを効率的に処理し、最新の進歩に対する認識を確保するためにインテリジェントな質問応答システムが必要である。
近年,Large Language Models (LLMs) は質問応答における印象的な能力を示し,古い知識を扱うために外部知識を取得することで強化されている。
しかし、最新のカンファレンス知識が欠如しているため、これらの手法は機能しない。
この課題に対処するため、我々は7つの多様な学術会議からなるコンファレンスQAデータセットを開発した。
具体的には,まず,学術会議データを木構造形式で半自動的に整理する。
次に、質問応答ペアに注釈を付け、ペアを4つの異なるタイプに分類し、それらの難易度をよりよく区別する。
構築したデータセットを用いて,LLMの質問応答能力を向上させるためのSTAR(Structure-Aware Retrieval)を提案する。
ConferenceQAデータセットの実験結果から,本手法の有効性が示された。
データセットとコードはhttps://github.com/zjukg/ConferenceQA.comで公開されている。
関連論文リスト
- Data-Centric AI in the Age of Large Language Models [51.20451986068925]
本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。
本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。
データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
論文 参考訳(メタデータ) (2024-06-20T16:34:07Z) - Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。
高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。
標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
論文 参考訳(メタデータ) (2024-06-19T05:43:02Z) - Cross-Data Knowledge Graph Construction for LLM-enabled Educational Question-Answering System: A~Case~Study~at~HCMUT [2.8000537365271367]
大規模言語モデル(LLM)は活発な研究トピックとして現れている。
LLMはイベントの記憶、新しい情報の導入、ドメイン固有の問題や幻覚への対処において課題に直面している。
本稿では,複数のデータソースから知識グラフを自動的に構築する手法を提案する。
論文 参考訳(メタデータ) (2024-04-14T16:34:31Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳(メタデータ) (2023-10-05T00:04:12Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。
このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。
本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z) - Data Provenance Inference in Machine Learning [11.757761200814027]
本稿では,MLトレーニングデータの生成,収集,処理特性を推定するデータ前処理法を提案する。
MLトレーニングでは,データ出典とデータ出典推論タスクを定式的に定義する。
著者」がデータ証明である場合、最も正確な推測精度はホワイトボックスのテキストモデルで98.96%に達する。
論文 参考訳(メタデータ) (2022-11-24T04:48:03Z) - FedQAS: Privacy-aware machine reading comprehension with federated
learning [0.0]
大規模プライベートデータを活用可能なプライバシ保護マシン読取システムであるFedQASを提案する。
FedQASは柔軟で言語に依存しないため、ローカルモデルトレーニングの直感的な参加と実行を可能にしている。
論文 参考訳(メタデータ) (2022-02-09T22:03:35Z) - Conversations with Search Engines: SERP-based Conversational Response
Generation [77.1381159789032]
我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。
また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。
CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
論文 参考訳(メタデータ) (2020-04-29T13:07:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。