論文の概要: Emerging Results on Automated Support for Searching and Selecting
Evidence for Systematic Literature Review Updates
- arxiv url: http://arxiv.org/abs/2402.05317v1
- Date: Wed, 7 Feb 2024 23:39:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:55:26.366965
- Title: Emerging Results on Automated Support for Searching and Selecting
Evidence for Systematic Literature Review Updates
- Title（参考訳）: 体系的文献レビュー更新のためのエビデンス検索・選択自動支援の新たな結果
- Authors: Bianca Minetto Napole\~ao, Ritika Sarkar, Sylvain Hall\'e, Fabio
Petrillo, Marcos Kalinowski
- Abstract要約: 本稿では,ソフトウェア工学におけるSLR更新研究の検索と選択を支援する自動手法について述べる。
我々は,機械学習(ML)アルゴリズムを用いて,雪玉探索技術を実行する自動化ツールのプロトタイプを開発し,SLR更新に関する関連する研究を選択することを支援する。
- 参考スコア（独自算出の注目度）: 1.1153433121962064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: The constant growth of primary evidence and Systematic Literature
Reviews (SLRs) publications in the Software Engineering (SE) field leads to the
need for SLR Updates. However, searching and selecting evidence for SLR updates
demands significant effort from SE researchers. Objective: We present emerging
results on an automated approach to support searching and selecting studies for
SLR updates in SE. Method: We developed an automated tool prototype to perform
the snowballing search technique and support selecting relevant studies for SLR
updates using Machine Learning (ML) algorithms. We evaluated our automation
proposition through a small-scale evaluation with a reliable dataset from an
SLR replication and its update. Results: Effectively automating
snowballing-based search strategies showed feasibility with minor losses,
specifically related to papers without Digital Object Identifier (DOI). The ML
algorithm giving the highest performance to select studies for SLR updates was
Linear Support Vector Machine, with approximately 74% recall and 15% precision.
Using such algorithms with conservative thresholds to minimize the risk of
missing papers can significantly reduce evidence selection efforts. Conclusion:
The preliminary results of our evaluation point in promising directions,
indicating the potential of automating snowballing search efforts and of
reducing the number of papers to be manually analyzed by about 2.5 times when
selecting evidence for updating SLRs in SE.
- Abstract（参考訳）: コンテキスト: ソフトウェア工学(SE)分野における主要なエビデンスとシステム文献レビュー(SLR)の継続的な成長は、SLR更新の必要性につながります。
しかし、SLR更新の証拠の検索と選択には、SE研究者による多大な努力が必要である。
目的:seにおけるslr更新の研究の検索と選択を支援する自動アプローチの新たな結果を示す。
方法: 機械学習(ML)アルゴリズムを用いて, 雪玉探索手法とSLR更新に関する関連研究の選択を支援する自動ツールプロトタイプを開発した。
SLRレプリケーションと更新による信頼性データセットによる小規模評価により,自動化の提案を評価した。
結果:snowballingベースの検索戦略を効果的に自動化することは,小さな損失を伴う可能性を示し,特にdoi(digital object identifier)のない論文に関連していた。
SLR更新のために選択した研究に最高の性能を与えるMLアルゴリズムは、約74%のリコールと15%の精度で線形サポートベクトルマシンであった。
このようなアルゴリズムを保守的なしきい値で使用することで、欠落した論文のリスクを最小限に抑えることができる。
結論: 雪玉探索を自動化し, SE における SLR 更新の証拠を選択する際に, 解析対象紙数を約 2.5 倍に削減する可能性を示唆する有望な方向の評価点の予備的結果を得た。
関連論文リスト
- AutoSurvey: Large Language Models Can Automatically Write Surveys [77.0458309675818]
本稿では,総合的な文献調査を自動作成する手法であるAutoSurveyを紹介する。
従来の調査論文は、膨大な量の情報と複雑さのために、課題に直面している。
我々の貢献には、調査問題に対する総合的な解決策、信頼性評価方法、AutoSurveyの有効性を実証する実験的な検証が含まれる。
論文 参考訳（メタデータ） (2024-06-10T12:56:06Z) - Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [90.4820014819937]
本稿では,分布域外領域を積極的に探索するために,潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観的手法を提案する。
実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整すると,SELMは命令追従ベンチマークの性能を大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-05-29T17:59:07Z) - Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。
これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。
既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
論文 参考訳（メタデータ） (2024-05-25T08:23:05Z) - Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。
複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
論文 参考訳（メタデータ） (2024-05-22T13:14:11Z) - System for systematic literature review using multiple AI agents:
Concept and an empirical evaluation [5.194208843843004]
本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。
このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。
関連する学術論文を検索するために使用される検索文字列を生成する。
モデルはこれらの論文の要約を自律的に要約する。
論文 参考訳（メタデータ） (2024-03-13T10:27:52Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - CSMeD: Bridging the Dataset Gap in Automated Citation Screening for
Systematic Literature Reviews [10.207938863784829]
CSMeDは9つの公開コレクションを統合したメタデータセットである。
CSMeDは自動引用スクリーニングモデルの性能を訓練し評価するための総合的なリソースとして機能する。
我々はCSMeD-FTを導入した。CSMeD-FTは、全文パブリッシュスクリーニングタスクを明示的に評価するために設計された新しいデータセットである。
論文 参考訳（メタデータ） (2023-11-21T09:36:11Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳（メタデータ） (2023-10-19T06:37:32Z) - Prompts Matter: Insights and Strategies for Prompt Engineering in
Automated Software Traceability [45.235173351109374]
大規模言語モデル(LLM)は、自動化トレーサビリティに革命をもたらす可能性がある。
本稿では,LLMからリンク予測を抽出するプロセスについて検討する。
論文 参考訳（メタデータ） (2023-08-01T01:56:22Z) - Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation [7.056222499095849]
ビームサーチは 予測分布を用いて 最大限の確率で 書き起こしを求める
最近提案された自己監督学習(SSL)ベースのASRモデルは、極めて確実な予測をもたらす傾向があることを示す。
細調整されたASRモデルの性能を向上させる復号法を提案する。
論文 参考訳（メタデータ） (2022-12-27T06:42:26Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:42:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。