論文の概要: Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?

• arxiv url: http://arxiv.org/abs/2302.03495v1
• Date: Fri, 3 Feb 2023 01:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 16:16:08.908062
• Title: Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?
• Title（参考訳）: ChatGPTは、体系的な文献検索のための優れたブールクエリを書けるか?
• Authors: Shuai Wang, Harrisen Scells, Bevan Koopman, Guido Zuccon
• Abstract要約: トランスフォーマーベースの生成モデルは、ユーザからの指示を効果的に追従し、実行中の命令に基づいて回答を生成することができる。 ChatGPTは、高い検索精度につながるクエリを生成することができるが、リコールのためにこれをトレーディングオフする。
• 参考スコア（独自算出の注目度）: 31.797257552928336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Systematic reviews are comprehensive reviews of the literature for a highly focused research question. These reviews are often treated as the highest form of evidence in evidence-based medicine, and are the key strategy to answer research questions in the medical field. To create a high-quality systematic review, complex Boolean queries are often constructed to retrieve studies for the review topic. However, it often takes a long time for systematic review researchers to construct a high quality systematic review Boolean query, and often the resulting queries are far from effective. Poor queries may lead to biased or invalid reviews, because they missed to retrieve key evidence, or to extensive increase in review costs, because they retrieved too many irrelevant studies. Recent advances in Transformer-based generative models have shown great potential to effectively follow instructions from users and generate answers based on the instructions being made. In this paper, we investigate the effectiveness of the latest of such models, ChatGPT, in generating effective Boolean queries for systematic review literature search. Through a number of extensive experiments on standard test collections for the task, we find that ChatGPT is capable of generating queries that lead to high search precision, although trading-off this for recall. Overall, our study demonstrates the potential of ChatGPT in generating effective Boolean queries for systematic review literature search. The ability of ChatGPT to follow complex instructions and generate queries with high precision makes it a valuable tool for researchers conducting systematic reviews, particularly for rapid reviews where time is a constraint and often trading-off higher precision for lower recall is acceptable.
• Abstract（参考訳）: 体系的レビューは、高度に焦点を絞った研究質問に対する文学の包括的なレビューである。 これらのレビューは、しばしばエビデンスベースの医学における最も高い証拠として扱われ、医学分野の研究に答える重要な戦略である。 高品質のシステマティックレビューを作成するために、レビュートピックの研究を検索するために複雑なbooleanクエリが構築されることが多い。 しかし、体系的なレビュー研究者が高品質な体系的なレビュー Booleanクエリを構築するのに長い時間がかかることがあり、結果として得られるクエリは効果的には程遠い。 粗末なクエリは、重要な証拠の取得を怠ったり、不適切な研究を多すぎるため、レビューコストが大幅に増加するため、バイアスや不正なレビューにつながる可能性がある。 トランスフォーマーに基づく生成モデルの最近の進歩は、ユーザからの指示を効果的に追従し、実行中の指示に基づいて回答を生成する大きな可能性を示している。 本稿では,その最新のモデルであるchatgptが,体系的レビュー文献検索に有効なブールクエリを生成することの有効性について検討する。 タスクの標準テストコレクションに関する多くの実験を通じて、ChatGPTは高い検索精度をもたらすクエリを生成することができるが、リコールのためにこれをトレードオフする。 本研究は,系統的な文献検索のための効果的なBooleanクエリ生成におけるChatGPTの可能性を示す。 ChatGPTが複雑な命令に従い、高い精度でクエリを生成する能力は、研究者が体系的なレビューを行う上で貴重なツールである。

関連論文リスト

• A Reproducibility and Generalizability Study of Large Language Models for Query Generation [14.172158182496295]
  生成AIと大規模言語モデル(LLM)は、体系的な文献レビュープロセスに革命をもたらすことを約束する。 本稿では,LLMを用いたBooleanクエリ生成を体系的レビューのために広範囲に研究する。 本研究は,ChatGPTを用いて得られた結果の複製性と信頼性について検討した。 次に、オープンソースモデルの解析と評価により結果を一般化する。
  論文  参考訳（メタデータ） (2024-11-22T13:15:03Z)
• Assessing the Answerability of Queries in Retrieval-Augmented Code Generation [7.68409881755304]
  本研究は,有効な回答が生成できるかどうかを評価するための課題を提案する。 我々は、Retrieval-augmented Code Generability Evaluation (RaCGEval)と呼ばれるベンチマークデータセットを構築し、このタスクを実行するモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-11-08T13:09:14Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
  本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。 新たに登場したAI生成の文献レビューも評価されている。 この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Evaluating ChatGPT as a Question Answering System: A Comprehensive Analysis and Comparison with Existing Models [0.0]
  本稿では,質問応答システム(QAS)としてのChatGPTについて検討する。 主な焦点は、提供された段落から回答を抽出する際のChatGPTの熟練度を評価することである。 評価では幻覚が強調され、ChatGPTは提供された文脈で回答が得られない質問に対して応答を提供する。
  論文  参考訳（メタデータ） (2023-12-11T08:49:18Z)
• Generating Natural Language Queries for More Effective Systematic Review Screening Prioritisation [53.77226503675752]
  現在の技術状況では、レビューの最終タイトルをクエリとして、BERTベースのニューラルランクラを使用してドキュメントのランク付けに使用しています。 本稿では,ChatGPT や Alpaca などの命令ベース大規模言語モデルによって生成される文書の検索に使用される Boolean クエリやクエリなど,スクリーニングを優先するクエリの代替源について検討する。 私たちのベストアプローチは、スクリーニング時に利用可能な情報に基づいて実現されるだけでなく、最終タイトルと同じような効果があります。
  論文  参考訳（メタデータ） (2023-09-11T05:12:14Z)
• The impact and applications of ChatGPT: a systematic review of literature reviews [0.0]
  ChatGPTは、最も広く使われている自然言語処理ツールの1つである。 様々な産業や分野にまたがる応用を実証する何千もの論文が出版され、ChatGPTは研究コミュニティに大きな関心を呼んだ。 複数のレビューや研究から得られた証拠の概要は、さらなる洞察を与え、冗長性を最小化し、さらなる研究が必要な領域を特定することができる。
  論文  参考訳（メタデータ） (2023-05-08T17:57:34Z)
• A Systematic Review of Automated Query Reformulations in Source Code Search [12.234169944475537]
  我々は,2,970の候補研究から,問合せの改定に関する70の研究を選定した。 本稿では,検索クエリの改定における研究状況を改善するためのベストプラクティスと今後の機会について論じる。
  論文  参考訳（メタデータ） (2021-08-22T05:47:10Z)
• Automating App Review Response Generation [67.58267006314415]
  本稿では,レビューと回答の知識関係を学習することで,レビュー応答を自動的に生成する新しいアプローチRRGenを提案する。 58のアプリと309,246のレビュー-レスポンスペアの実験では、RRGenはBLEU-4の点で少なくとも67.4%のベースラインを上回っている。
  論文  参考訳（メタデータ） (2020-02-10T05:23:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。