論文の概要: Reliable Academic Conference Question Answering: A Study Based on Large
Language Model
- arxiv url: http://arxiv.org/abs/2310.13028v1
- Date: Thu, 19 Oct 2023 07:39:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 02:08:01.632099
- Title: Reliable Academic Conference Question Answering: A Study Based on Large
Language Model
- Title(参考訳): 信頼性のある学術会議質問応答:大規模言語モデルに基づく研究
- Authors: Zhiwei Huang, Long Jin, Junjie Wang, Mingchen Tu, Yin Hua, Zhiqiang
Liu, Jiawei Meng, Huajun Chen, Wen Zhang
- Abstract要約: 我々は,人間アノテーションを用いた7つの学術会議のためのカンファレンスQAデータセットを開発した。
我々は、学術会議データを半構造化形式で整理するために、手動と自動の手法を組み合わせています。
データの信頼性を確保するため、各回答のソースを手動でアノテートする。
- 参考スコア(独自算出の注目度): 38.83800315914221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid growth of computer science has led to a proliferation of research
presented at academic conferences, fostering global scholarly communication.
Researchers consistently seek accurate, current information about these events
at all stages. This data surge necessitates an intelligent question-answering
system to efficiently address researchers' queries and ensure awareness of the
latest advancements. The information of conferences is usually published on
their official website, organized in a semi-structured way with a lot of text.
To address this need, we have developed the ConferenceQA dataset for 7 diverse
academic conferences with human annotations. Firstly, we employ a combination
of manual and automated methods to organize academic conference data in a
semi-structured JSON format. Subsequently, we annotate nearly 100
question-answer pairs for each conference. Each pair is classified into four
different dimensions. To ensure the reliability of the data, we manually
annotate the source of each answer. In light of recent advancements, Large
Language Models (LLMs) have demonstrated impressive performance in various NLP
tasks. They have demonstrated impressive capabilities in information-seeking
question answering after instruction fine-tuning, and as such, we present our
conference QA study based on LLM. Due to hallucination and outdated knowledge
of LLMs, we adopt retrieval based methods to enhance LLMs' question-answering
abilities. We have proposed a structure-aware retrieval method, specifically
designed to leverage inherent structural information during the retrieval
process. Empirical validation on the ConferenceQA dataset has demonstrated the
effectiveness of this method. The dataset and code are readily accessible on
https://github.com/zjukg/ConferenceQA.
- Abstract(参考訳): コンピュータ科学の急速な成長により、学術会議で発表された研究が急増し、グローバルな学術的コミュニケーションが促進された。
研究者は一貫して、これらの出来事に関する正確な現在の情報を求める。
このデータサージは、研究者のクエリに効率的に対処し、最新の進歩を確実にするためのインテリジェントな質問応答システムを必要とする。
カンファレンスに関する情報は通常、公式ウェブサイトで公開され、大量のテキストで半構造化された方法で組織される。
このニーズに対処するため,我々は,人的アノテーションを用いた7つの学術会議のためのカンファレンスqaデータセットを開発した。
まず、学術会議データを半構造化JSON形式で整理するために、手動と自動の手法を組み合わせています。
その後、各カンファレンスに100近い質問対に注釈を付けます。
各組は4つの異なる次元に分けられる。
データの信頼性を確保するため、各回答のソースを手動でアノテートします。
最近の進歩を踏まえ、LLM(Large Language Models)は様々なNLPタスクにおいて顕著な性能を示した。
授業の微調整後の情報探索質問応答における印象的な機能を示した結果,LLMに基づくQA研究を報告した。
LLMの幻覚と時代遅れの知識により,LLMの質問応答能力を高める検索手法を採用した。
本研究では,検索過程において固有構造情報を活用する構造認識検索手法を提案する。
ConferenceQAデータセットの実証検証により,本手法の有効性が示された。
データセットとコードはhttps://github.com/zjukg/conferenceqaで簡単にアクセスできます。
関連論文リスト
- Cross-Data Knowledge Graph Construction for LLM-enabled Educational Question-Answering System: A~Case~Study~at~HCMUT [2.8000537365271367]
大規模言語モデル(LLM)は活発な研究トピックとして現れている。
LLMはイベントの記憶、新しい情報の導入、ドメイン固有の問題や幻覚への対処において課題に直面している。
本稿では,複数のデータソースから知識グラフを自動的に構築する手法を提案する。
論文 参考訳(メタデータ) (2024-04-14T16:34:31Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳(メタデータ) (2023-10-05T00:04:12Z) - Data-centric Artificial Intelligence: A Survey [47.24049907785989]
近年、AIにおけるデータの役割は大幅に拡大し、データ中心AIという新たな概念が生まれた。
本稿では,データ中心型AIの必要性について論じ,続いて3つの一般的なデータ中心型目標の全体像を考察する。
これは、データライフサイクルのさまざまな段階にわたるタスクのグローバルなビューを提供する、初めての総合的な調査である、と私たちは信じています。
論文 参考訳(メタデータ) (2023-03-17T17:44:56Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。
このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。
本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z) - Meeting Summarization: A Survey of the State of the Art [0.0]
仮想通信プラットフォームの台頭により,対話データの過剰が生じる。
Covid-19の台頭は、Zoom、Slack、Microsoft Teams、Discordなどのオンラインコミュニケーションプラットフォームを企業ミーティングに頼りにしている。
会議要約の分野では総合的な調査が欠如している。
論文 参考訳(メタデータ) (2022-12-16T00:21:30Z) - Data Provenance Inference in Machine Learning [11.757761200814027]
本稿では,MLトレーニングデータの生成,収集,処理特性を推定するデータ前処理法を提案する。
MLトレーニングでは,データ出典とデータ出典推論タスクを定式的に定義する。
著者」がデータ証明である場合、最も正確な推測精度はホワイトボックスのテキストモデルで98.96%に達する。
論文 参考訳(メタデータ) (2022-11-24T04:48:03Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - FedQAS: Privacy-aware machine reading comprehension with federated
learning [0.0]
大規模プライベートデータを活用可能なプライバシ保護マシン読取システムであるFedQASを提案する。
FedQASは柔軟で言語に依存しないため、ローカルモデルトレーニングの直感的な参加と実行を可能にしている。
論文 参考訳(メタデータ) (2022-02-09T22:03:35Z) - Conversations with Search Engines: SERP-based Conversational Response
Generation [77.1381159789032]
我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。
また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。
CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
論文 参考訳(メタデータ) (2020-04-29T13:07:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。