論文の概要: Requirements Quality Research Artifacts: Recovery, Analysis, and Management Guideline
- arxiv url: http://arxiv.org/abs/2406.01055v1
- Date: Mon, 3 Jun 2024 07:09:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 02:08:05.597108
- Title: Requirements Quality Research Artifacts: Recovery, Analysis, and Management Guideline
- Title（参考訳）: 要求品質研究成果物:回収・分析・管理指針
- Authors: Julian Frattini, Lloyd Montgomery, Davide Fucci, Michael Unterkalmsteiner, Daniel Mendez, Jannik Fischbach,
- Abstract要約: 我々は,要求品質研究における研究成果物の利用性の向上を目指している。
アーティファクト・リカバリ・イニシアチブを拡張し、アーティファクト・アベイラビリティーの理由を実証的に評価する。
オープンサイエンスアーティファクト開示のための簡潔なガイドラインをコンパイルする。
- 参考スコア（独自算出の注目度）: 3.91424340393661
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Requirements quality research, which is dedicated to assessing and improving the quality of requirements specifications, is dependent on research artifacts like data sets (containing information about quality defects) and implementations (automatically detecting and removing these defects). However, recent research exposed that the majority of these research artifacts have become unavailable or have never been disclosed, which inhibits progress in the research domain. In this work, we aim to improve the availability of research artifacts in requirements quality research. To this end, we (1) extend an artifact recovery initiative, (2) empirically evaluate the reasons for artifact unavailability using Bayesian data analysis, and (3) compile a concise guideline for open science artifact disclosure. Our results include 10 recovered data sets and 7 recovered implementations, empirical support for artifact availability improving over time and the positive effect of public hosting services, and a pragmatic artifact management guideline open for community comments. With this work, we hope to encourage and support adherence to open science principles and improve the availability of research artifacts for the requirements research quality community.
- Abstract（参考訳）: 要求品質調査は、要求仕様の品質を評価し改善することに特化したもので、データセット(品質欠陥に関する情報を含む)や実装(これらの欠陥を自動的に検出し、除去する)のような研究成果物に依存します。
しかし、最近の研究では、これらの研究成果の大部分は入手できないか、公表されていないことが判明し、研究領域の進歩を阻害している。
本研究は,要求品質研究における研究成果物の利用性の向上を目的としている。
この目的のために,(1)人工物回収イニシアチブを拡張し,(2)ベイジアンデータ分析による人工物利用の理由を実証的に評価し,(3)オープンサイエンスアーティファクト開示のための簡潔なガイドラインをコンパイルする。
その結果,回収した10データセットと7実装,時間とともにアーティファクトの可用性が向上する実証的サポート,パブリックホスティングサービスの肯定的な効果,コミュニティコメントのための実用的アーティファクト管理ガイドラインが得られた。
本研究により、オープンサイエンスの原則への固執を奨励し、支援し、要求研究品質コミュニティのための研究アーティファクトの可用性を向上させることを期待する。
関連論文リスト
- ResearchArena: Benchmarking LLMs' Ability to Collect and Organize Information as Research Agents [21.17856299966841]
大規模言語モデル (LLM) は自然言語処理において様々なタスクで顕著な性能を示した。
我々はLLMエージェントが学術調査を行う能力を測定するベンチマーク「ResearchArena」を開発した。
論文 参考訳（メタデータ） (2024-06-13T03:26:30Z) - FAIRSECO: An Extensible Framework for Impact Measurement of Research Software [1.549241498953151]
研究ソフトウェアと研究ソフトウェア技術者を信用する既存の手法は不十分であることが証明されている。
FAIRSECOは,研究ソフトウェアが研究に与える影響を評価するためのオープンソースフレームワークである。
論文 参考訳（メタデータ） (2024-06-04T15:22:48Z) - Confronting the Reproducibility Crisis: A Case Study in Validating Certified Robustness [0.0]
本稿では,VeriGauge ツールキットを用いた "SoK: Certified Robustness for Deep Neural Networks" における検証結果の検証を試みる。
ドキュメント化された方法論に従えば、古い依存関係や利用できない依存関係、バージョンコンフリクト、ドライバの不互換性など、多くのソフトウェアとハードウェアの互換性の問題が発生した。
本稿では,コンテナ化やソフトウェア保存,包括的なドキュメントプラクティスといった潜在的なソリューションを提案する。
論文 参考訳（メタデータ） (2024-05-29T04:37:19Z) - Repeatability, Reproducibility, Replicability, Reusability (4R) in
Journals' Policies and Software/Data Management in Scientific Publications: A
Survey, Discussion, and Perspectives [1.446375009535228]
我々は、引用指向のプラクティス、ジャーナルポリシー、レコメンデーション、アーティファクト記述/評価ガイドライン、提出ガイド、技術的進化の間に大きなギャップを見出した。
著者と学術雑誌の関係を,共同で科学的結果を改善するための相互取り組みとして分析した。
我々は,学術論文を著者に提出するための統一的で標準化された再現性ガイドとともに,雑誌政策の勧告を提案する。
論文 参考訳（メタデータ） (2023-12-18T09:02:28Z) - Divide and Conquer the EmpiRE: A Community-Maintainable Knowledge Graph
of Empirical Research in Requirements Engineering [0.3277163122167433]
要件エンジニアリング(RE)に関する実証研究は、常に進化している。
根底にある問題は、以前の作業からのデータが利用できないことだ。
オープンリサーチ知識グラフ(ORKG)を,REにおける経験的研究の知識グラフを構築,公開するための基盤として利用する方法について検討する。
論文 参考訳（メタデータ） (2023-06-29T08:55:35Z) - GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。
外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
論文 参考訳（メタデータ） (2023-02-16T16:45:36Z) - SciFact-Open: Towards open-domain scientific claim verification [61.288725621156864]
本稿では,科学的クレーム検証システムの性能評価を目的とした新しいテストコレクションであるSciFact-Openを提案する。
我々は、4つの最先端の科学的クレーム検証モデルの上位予測をプールし、注釈付けすることで、科学的クレームの証拠を収集する。
その結果,SciFact-Openへの一般化に苦慮する小形コーパス上で開発されたシステムは,少なくとも15F1の性能低下を示すことがわかった。
論文 参考訳（メタデータ） (2022-10-25T05:45:00Z) - Research Trends and Applications of Data Augmentation Algorithms [77.34726150561087]
我々は,データ拡張アルゴリズムの適用分野,使用するアルゴリズムの種類,重要な研究動向,時間経過に伴う研究の進展,およびデータ拡張文学における研究ギャップを同定する。
我々は、読者がデータ拡張の可能性を理解し、将来の研究方向を特定し、データ拡張研究の中で質問を開くことを期待する。
論文 参考訳（メタデータ） (2022-07-18T11:38:32Z) - Algorithmic Fairness Datasets: the Story so Far [68.45921483094705]
データ駆動アルゴリズムは、人々の幸福に直接影響し、批判的な決定をサポートするために、さまざまな領域で研究されている。
研究者のコミュニティは、既存のアルゴリズムの株式を調査し、新しいアルゴリズムを提案し、歴史的に不利な人口に対する自動意思決定のリスクと機会の理解を深めてきた。
公正な機械学習の進歩はデータに基づいており、適切に文書化された場合にのみ適切に使用できる。
残念なことに、アルゴリズムフェアネスコミュニティは、特定のリソース(オパシティ)に関する情報の不足と利用可能な情報の分散(スパーシティ)によって引き起こされる、集合的なデータドキュメント負債に悩まされている。
論文 参考訳（メタデータ） (2022-02-03T17:25:46Z) - Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond [58.71736531356398]
本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
論文 参考訳（メタデータ） (2022-01-27T11:02:43Z) - Scaling up Search Engine Audits: Practical Insights for Algorithm
Auditing [68.8204255655161]
異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。
複数のデータ収集にまたがる研究インフラの性能を実証する。
仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
論文 参考訳（メタデータ） (2021-06-10T15:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。