論文の概要: CORE-GPT: Combining Open Access research and large language models for
credible, trustworthy question answering
- arxiv url: http://arxiv.org/abs/2307.04683v1
- Date: Thu, 6 Jul 2023 13:41:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 12:22:56.211963
- Title: CORE-GPT: Combining Open Access research and large language models for
credible, trustworthy question answering
- Title(参考訳): core-gpt: オープンアクセス研究と大規模言語モデルを組み合わせた信頼性の高い質問応答
- Authors: David Pride, Matteo Cancellieri and Petr Knoth
- Abstract要約: 提案するCORE-GPTは, GPTに基づく言語モデルと, COREからの3200万件以上の全文オープンアクセス科学論文を組み合わせた質問応答プラットフォームである。
まず、GPT3.5とGPT4は、生成されたテキストへの参照や引用を頼りにすることはできないことを実証する。
次に,質問に対するエビデンスに基づく回答を提供するCORE-GPTを紹介する。
- 参考スコア(独自算出の注目度): 0.6537685198688536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present CORE-GPT, a novel question-answering platform that
combines GPT-based language models and more than 32 million full-text open
access scientific articles from CORE. We first demonstrate that GPT3.5 and GPT4
cannot be relied upon to provide references or citations for generated text. We
then introduce CORE-GPT which delivers evidence-based answers to questions,
along with citations and links to the cited papers, greatly increasing the
trustworthiness of the answers and reducing the risk of hallucinations.
CORE-GPT's performance was evaluated on a dataset of 100 questions covering the
top 20 scientific domains in CORE, resulting in 100 answers and links to 500
relevant articles. The quality of the provided answers and and relevance of the
links were assessed by two annotators. Our results demonstrate that CORE-GPT
can produce comprehensive and trustworthy answers across the majority of
scientific domains, complete with links to genuine, relevant scientific
articles.
- Abstract(参考訳): 本稿では,GPTに基づく言語モデルと3200万件以上の全文オープンアクセス科学論文を組み合わせた質問応答プラットフォームであるCORE-GPTを提案する。
まず、GPT3.5とGPT4は、生成されたテキストへの参照や引用を頼りにできないことを示す。
次に,質問に対するエビデンスに基づく回答を提示するcore-gptと引用論文への引用とリンクを導入し,回答の信頼性を大幅に向上させ,幻覚のリスクを低減させる。
CORE-GPTのパフォーマンスは、COREの上位20の科学領域をカバーする100の質問のデータセットで評価され、100の回答と500の関連記事へのリンクが得られた。
得られた回答の質とリンクの関連性は2つのアノテータで評価した。
以上の結果から,CORE-GPTは科学的領域の大部分を包括的で信頼性の高い回答が得られ,真に関連のある科学論文へのリンクが得られた。
関連論文リスト
- OpenScholar: Synthesizing Scientific Literature with Retrieval-augmented LMs [151.79792315631965]
我々は,4500万件のオープンアクセス論文と引用支援の回答を関連づけることで,科学的クエリに答える特殊な検索拡張LMであるOpenScholarを紹介した。
ScholarQABench では OpenScholar-8B が GPT-4o を5%、PaperQA2 を7% 上回っている。
OpenScholarのデータストア、レトリバー、セルフフィードバック推論ループも、既製のLMを改善している。
論文 参考訳(メタデータ) (2024-11-21T15:07:42Z) - ChatGPT Application In Summarizing An Evolution Of Deep Learning
Techniques In Imaging: A Qualitative Study [0.0]
ChatGPT 3.5は、最大3000個のトークンの内容を1ページに格納する能力を示す。
我々は7つの学術論文を選定し、これらの記事の要約を生成するために利用可能なChatGPTサービスを利用した。
本来の記事とは対照的に、要約の技術的な深みはわずかに減少していた。
論文 参考訳(メタデータ) (2023-11-26T23:22:37Z) - Can large language models provide useful feedback on research papers? A
large-scale empirical analysis [38.905758846360435]
高品質なピアレビューは入手がますます困難になっている。
GPT-4のような大規模言語モデル(LLM)のブレークスルーにより、科学的なフィードバックを得るためにLLMを使うことへの関心が高まっている。
我々はGPT-4を用いた自動パイプラインを作成し、科学論文の全PDFにコメントを提供した。
論文 参考訳(メタデータ) (2023-10-03T04:14:17Z) - ChatGPT Hallucinates when Attributing Answers [27.63520311803786]
我々は、異なるプロンプトが答えや証拠にどのように影響するかを調査する。
約半数の症例において,ChatGPTが正解あるいは部分的に正解であることがわかった。
しかし、提案されている基準は14%しか存在しない。
論文 参考訳(メタデータ) (2023-09-17T23:49:12Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳(メタデータ) (2023-05-24T02:33:35Z) - WebCPM: Interactive Web Search for Chinese Long-form Question Answering [104.676752359777]
LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。
中国初のLFQAデータセットであるWebCPMを紹介する。
高品質な質問応答対5,500件,支援事実14,315件,Web検索121,330件を収集した。
論文 参考訳(メタデータ) (2023-05-11T14:47:29Z) - ChatGPT cites the most-cited articles and journals, relying solely on
Google Scholar's citation counts. As a result, AI may amplify the Matthew
Effect in environmental science [0.0]
ChatGPTは、環境科学の高度に刺激された出版物を引用する傾向がある。
Google Scholarの引用は、GPT生成コンテンツの研究に言及するための予測器として重要な役割を果たす。
論文 参考訳(メタデータ) (2023-04-13T19:29:49Z) - News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。
我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
論文 参考訳(メタデータ) (2022-09-26T01:04:52Z) - Science Checker: Extractive-Boolean Question Answering For Scientific
Fact Checking [0.0]
本研究では,研究論文における事実と証拠からの合同推論に基づいて,科学的疑問を検証するためのマルチタスクアプローチを提案する。
提案した軽量かつ高速なアーキテクチャにより、平均エラー率は4%、F1スコアは95.6%に達した。
論文 参考訳(メタデータ) (2022-04-26T12:35:23Z) - Enhancing Scientific Papers Summarization with Citation Graph [78.65955304229863]
引用グラフを用いて科学論文の要約作業を再定義します。
我々は,141kの研究論文を異なる領域に格納した,新しい科学論文要約データセットセマンティックスタディネットワーク(ssn)を構築した。
我々のモデルは、事前訓練されたモデルと比較して競争性能を達成することができる。
論文 参考訳(メタデータ) (2021-04-07T11:13:35Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。