論文の概要: Assessing the Ability of ChatGPT to Screen Articles for Systematic Reviews

• arxiv url: http://arxiv.org/abs/2307.06464v1
• Date: Wed, 12 Jul 2023 21:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 16:28:52.800751
• Title: Assessing the Ability of ChatGPT to Screen Articles for Systematic Reviews
• Title（参考訳）: chatgptによるシステムレビュー記事の表示能力の評価
• Authors: Eugene Syriani, Istvan David, Gauransh Kumar
• Abstract要約: SRのスクリーニングを自動化するために,新しい技術開発を活用するアプローチを提案する。 SRの検定におけるChatGPTの整合性,分類性能,一般化性について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By organizing knowledge within a research field, Systematic Reviews (SR) provide valuable leads to steer research. Evidence suggests that SRs have become first-class artifacts in software engineering. However, the tedious manual effort associated with the screening phase of SRs renders these studies a costly and error-prone endeavor. While screening has traditionally been considered not amenable to automation, the advent of generative AI-driven chatbots, backed with large language models is set to disrupt the field. In this report, we propose an approach to leverage these novel technological developments for automating the screening of SRs. We assess the consistency, classification performance, and generalizability of ChatGPT in screening articles for SRs and compare these figures with those of traditional classifiers used in SR automation. Our results indicate that ChatGPT is a viable option to automate the SR processes, but requires careful considerations from developers when integrating ChatGPT into their SR tools.
• Abstract（参考訳）: 研究分野内の知識を整理することで、システマティック・レビュー(sr)は研究に有用な手がかりを提供する。 エビデンスによれば、SRはソフトウェア工学の第一級のアーティファクトになっている。 しかし、SRのスクリーニングフェーズにまつわる面倒な手作業は、これらの研究をコストが高く、エラーを起こしやすいものにしている。 従来、スクリーニングは自動化には適さないと考えられてきたが、生成可能なAI駆動型チャットボットの出現は、大きな言語モデルで支えられている。 本稿では,SRのスクリーニングの自動化にこれらの新しい技術開発を活用するためのアプローチを提案する。 SRの検定項目におけるChatGPTの整合性,分類性能,一般化性を評価し,これらの数値をSR自動化における従来の分類器と比較した。 この結果から,ChatGPT は SR プロセスを自動化する上で有効な選択肢であるが,ChatGPT を SR ツールに統合するには,開発者から慎重に検討する必要があることが示唆された。

関連論文リスト

• Enhancing Retrieval in QA Systems with Derived Feature Association [0.0]
  Retrieval augmented generation (RAG) は、長い文脈質問応答(QA)システムにおいて標準となっている。 我々は、AI派生文書(RAIDD)からレトリーバル(Retrieval)と呼ばれるRAGシステムへの新たな拡張を提案する。
  論文  参考訳（メタデータ） (2024-10-02T05:24:49Z)
• Towards interfacing large language models with ASR systems using confidence measures and prompting [54.39667883394458]
  本研究では,大言語モデル(LLM)を用いたASRテキストのポストホック修正について検討する。 精度の高い転写文に誤りを導入することを避けるため,信頼度に基づくフィルタリング手法を提案する。 その結果,競争力の低いASRシステムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-07-31T08:00:41Z)
• Complex Event Recognition with Symbolic Register Transducers: Extended Technical Report [51.86861492527722]
  本稿では,オートマトンに基づく複合イベント認識システムを提案する。 本システムは,記号とレジスタオートマトンを組み合わせたオートマトンモデルに基づいている。 我々は、イベントストリーム上のパターンを検出するために、SRTをCERでどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2024-07-03T07:59:13Z)
• System for systematic literature review using multiple AI agents: Concept and an empirical evaluation [5.194208843843004]
  本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。 このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。 関連する学術論文を検索するために使用される検索文字列を生成する。 モデルはこれらの論文の要約を自律的に要約する。
  論文  参考訳（メタデータ） (2024-03-13T10:27:52Z)
• Chatbots Are Not Reliable Text Annotators [0.0]
  ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。 オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
  論文  参考訳（メタデータ） (2023-11-09T22:28:14Z)
• Hey ASR System! Why Aren't You More Inclusive? Automatic Speech Recognition Systems' Bias and Proposed Bias Mitigation Techniques. A Literature Review [0.0]
  我々は、ASRの性別、人種、病気、障害者に対する偏見に対処する研究を提案する。 また、よりアクセシブルで包括的なASR技術を設計するための技術についても論じる。
  論文  参考訳（メタデータ） (2022-11-17T13:15:58Z)
• Get It Scored Using AutoSAS -- An Automated System for Scoring Short Answers [63.835172924290326]
  SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。 SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。 AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
  論文  参考訳（メタデータ） (2020-12-21T10:47:30Z)
• Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders [59.038157066874255]
  本稿では,手動ラベル付きデータを用いずにチャット要約を行うrankaeという新しいフレームワークを提案する。 RankAEは、中心性と多様性に応じてトピックの発話を同時に選択するトピック指向のランキング戦略で構成されています。 消音自動エンコーダは、選択された発話に基づいて簡潔でコンテキスト情報に基づいた要約を生成するように設計されています。
  論文  参考訳（メタデータ） (2020-12-14T07:31:17Z)
• Induction and Exploitation of Subgoal Automata for Reinforcement Learning [75.55324974788475]
  本稿では,Regressed Learning (RL)タスクにおけるサブゴールの学習と活用のためのISAを提案する。 ISAは、タスクのサブゴールによってエッジがラベル付けされたオートマトンであるサブゴールオートマトンを誘導することで強化学習をインターリーブする。 サブゴールオートマトンはまた、タスクの完了を示す状態と、タスクが成功せずに完了したことを示す状態の2つの特別な状態で構成されている。
  論文  参考訳（メタデータ） (2020-09-08T16:42:55Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。