論文の概要: How good are my search strings? Reflections on using an existing review as a quasi-gold standard

• arxiv url: http://arxiv.org/abs/2402.11041v1
• Date: Fri, 16 Feb 2024 19:36:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 23:50:16.063273
• Title: How good are my search strings? Reflections on using an existing review as a quasi-gold standard
• Title（参考訳）: 私の検索文字列はどのくらい良いですか。 準金標準としての既存レビューの活用に関する考察
• Authors: Huynh Khanh Vi Tran, J\"urgen B\"orstler, Nauman Bin Ali, Michael Unterkalmsteiner
• Abstract要約: 本研究は,準ゴールド標準(QGS)を用いた探索文字列構築と探索検証に関する問題に対する意識を高めることを目的とする。 文献ではQGS品質評価の問題はあまり注目されておらず,SLSにおける自動検索の有効性が向上する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.7827643249624088
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Background: Systematic literature studies (SLS) have become a core research methodology in Evidence-based Software Engineering (EBSE). Search completeness, ie, finding all relevant papers on the topic of interest, has been recognized as one of the most commonly discussed validity issues of SLSs. Aim: This study aims at raising awareness on the issues related to search string construction and on search validation using a quasi-gold standard (QGS). Furthermore, we aim at providing guidelines for search string validation. Method: We use a recently completed tertiary study as a case and complement our findings with the observations from other researchers studying and advancing EBSE. Results: We found that the issue of assessing QGS quality has not seen much attention in the literature, and the validation of automated searches in SLSs could be improved. Hence, we propose to extend the current search validation approach by the additional analysis step of the automated search validation results and provide recommendations for the QGS construction. Conclusion: In this paper, we report on new issues which could affect search completeness in SLSs. Furthermore, the proposed guideline and recommendations could help researchers implement a more reliable search strategy in their SLSs.
• Abstract（参考訳）: 背景: 体系的文学研究(sls)は、エビデンスベースソフトウェアエンジニアリング(ebse)における中核的な研究方法論となっている。 検索完全性、すなわち、関心事に関するすべての関連論文は、SLSの最もよく議論されている妥当性問題の1つとして認識されている。 目的: 本研究は, 検索文字列構築および準金標準(qgs)を用いた検索検証に関する問題に対する意識を高めることを目的とした。 さらに,検索文字列検証のガイドラインの提供も目指している。 方法: 最近完結した第3次研究を事例として、ebseの研究と進歩を他の研究者の観察で補完する。 結果: 文献ではQGS品質評価の問題はあまり注目されておらず, SLSにおける自動検索の有効性が向上する可能性が示唆された。 そこで本研究では、自動検索検証結果のさらなる分析ステップにより、現在の検索検証手法を拡張し、QGS構築のためのレコメンデーションを提案する。 結論:本論文では,SLSにおける検索完全性に影響を与える可能性のある新たな課題について報告する。 さらに、提案されたガイドラインとレコメンデーションは、研究者がSLSにより信頼性の高い検索戦略を実装するのに役立つだろう。

関連論文リスト

• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• Reconciling Methodological Paradigms: Employing Large Language Models as Novice Qualitative Research Assistants in Talent Management Research [1.0949553365997655]
  本研究では,RAGに基づくLarge Language Models (LLMs) を用いた面接文の解析手法を提案する。 この研究の斬新さは、初歩的な研究助手として機能するLSMによって強化された研究調査をストラテジー化することにある。 以上の結果から, LLM拡張RAGアプローチは, 手動で生成したトピックと比較して, 興味のあるトピックを抽出できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-20T17:49:51Z)
• LitSearch: A Retrieval Benchmark for Scientific Literature Search [48.593157851171526]
  我々は,最近のMLおよびNLP論文に関する597のリアルな文献検索クエリからなる検索ベンチマークLitSearchを紹介する。 LitSearchのすべての質問は、高品質を保証するために専門家によって手作業で検査または編集された。 BM25と最先端の高密度リトリーバーの間には,24.8%の絶対差がみられた。
  論文  参考訳（メタデータ） (2024-07-10T18:00:03Z)
• SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
  本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。 SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。 本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
  論文  参考訳（メタデータ） (2024-04-09T15:01:51Z)
• Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning [0.9110413356918055]
  本研究は,SLR(Systematic Literature Reviews)の自動化にLLM(Funture-Tuned Large Language Models)を用いた先駆的研究である。 本研究は,オープンソースLLMとともに最新の微調整手法を採用し,SLRプロセスの最終実行段階を自動化するための実用的で効率的な手法を実証した。 その結果, LLM応答の精度は高く, 既存のPRISMAコンフォーミングSLRの複製により検証された。
  論文  参考訳（メタデータ） (2024-04-08T00:08:29Z)
• Large Language Model for Vulnerability Detection and Repair: Literature Review and the Road Ahead [12.324949480085424]
  現在、脆弱性の検出と修復にLarge Language Modelsの利用に焦点を当てた調査は行われていない。 本稿では,LSMの活用による脆弱性検出と修復の改善を目的とした手法について,系統的な文献レビューを行う。
  論文  参考訳（メタデータ） (2024-04-03T07:27:33Z)
• Expanding Horizons in HCI Research Through LLM-Driven Qualitative Analysis [3.5253513747455303]
  大規模言語モデル(LLM)を用いたHCIにおける定性解析の新しいアプローチを提案する。 以上の結果から,LSMは従来の解析手法と一致しただけでなく,ユニークな知見も得られることが示唆された。
  論文  参考訳（メタデータ） (2024-01-07T12:39:31Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)
• Wizard of Search Engine: Access to Information Through Conversations with Search Engines [58.53420685514819]
  我々は3つの側面からCISの研究を促進するために努力している。 目的検出(ID)、キーフレーズ抽出(KE)、行動予測(AP)、クエリ選択(QS)、通過選択(PS)、応答生成(RG)の6つのサブタスクでCIS用のパイプラインを定式化する。 検索エンジンのウィザード(WISE)と呼ばれるベンチマークデータセットをリリースし、CISのすべての側面について包括的かつ詳細な調査を可能にします。
  論文  参考訳（メタデータ） (2021-05-18T06:35:36Z)
• The CSO Classifier: Ontology-Driven Detection of Research Topics in Scholarly Articles [0.0]
  コンピュータサイエンスオントロジー(CSO)に基づく研究論文の自動分類のための新しい教師なしアプローチを紹介します。 CSOは、研究論文(タイトル、抽象、キーワード)に関連するメタデータを入力として取り、オントロジーから引き出された研究概念の選択を返します。 このアプローチは、手作業による注釈付き記事のゴールドスタンダードで評価され、代替方法よりも大幅に改善されました。
  論文  参考訳（メタデータ） (2021-04-02T09:02:32Z)
• Anomalous Example Detection in Deep Learning: A Survey [98.2295889723002]
  本調査は,ディープラーニングアプリケーションにおける異常検出の研究について,構造化された包括的概要を提供する。 既存の技術に対する分類法を,その基礎となる前提と採用アプローチに基づいて提案する。 本稿では,DLシステムに異常検出技術を適用しながら未解決の研究課題を取り上げ,今後の課題について述べる。
  論文  参考訳（メタデータ） (2020-03-16T02:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。