論文の概要: Evaluation of software impact designed for biomedical research: Are we
measuring what's meaningful?
- arxiv url: http://arxiv.org/abs/2306.03255v1
- Date: Mon, 5 Jun 2023 21:15:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 04:23:24.714768
- Title: Evaluation of software impact designed for biomedical research: Are we
measuring what's meaningful?
- Title（参考訳）: バイオメディカル研究のために設計されたソフトウェア影響の評価:意味のあるものを測定するか?
- Authors: Awan Afiaz (1 and 2), Andrey Ivanov (3), John Chamberlin (4), David
Hanauer (5), Candace Savonen (2), Mary J Goldman (6), Martin Morgan (7),
Michael Reich (8), Alexander Getka (9), Aaron Holmes (10 and 11 and 12 and
13), Sarthak Pati (9), Dan Knight (10 and 11 and 12 and 13), Paul C. Boutros
(10 and 11 and 12 and 13), Spyridon Bakas (9), J. Gregory Caporaso (14),
Guilherme Del Fiol (15), Harry Hochheiser (16), Brian Haas (17), Patrick D.
Schloss (18), James A. Eddy (19), Jake Albrecht (19), Andrey Fedorov (20),
Levi Waldron (21), Ava M. Hoffman (2), Richard L. Bradshaw (15), Jeffrey T.
Leek (2) and Carrie Wright (2) ((1) Department of Biostatistics, University
of Washington, Seattle, WA, (2) Biostatistics Program, Public Health Sciences
Division, Fred Hutchinson Cancer Center, Seattle, WA, (3) Department of
Pharmacology and Chemical Biology, Emory University School of Medicine, Emory
University, Atlanta, GA, (4) Department of Biomedical Informatics, University
of Utah, Salt Lake City, UT, (5) Department of Learning Health Sciences,
University of Michigan Medical School, Ann Arbor, MI, (6) University of
California Santa Cruz, Santa Cruz, CA, (7) Roswell Park Comprehensive Cancer
Center, Buffalo, NY, (8) University of California, San Diego, La Jolla, CA,
(9) University of Pennsylvania, Philadelphia, PA, (10) Jonsson Comprehensive
Cancer Center, University of California, Los Angeles, CA, (11) Institute for
Precision Health, University of California, Los Angeles, CA, (12) Department
of Human Genetics, University of California, Los Angeles, CA, (13) Department
of Urology, University of California, Los Angeles, CA, (14) Pathogen and
Microbiome Institute, Northern Arizona University, Flagstaff, AZ, (15)
Department of Biomedical Informatics, University of Utah, Salt Lake City, UT,
(16) Department of Biomedical Informatics, University of Pittsburgh,
Pittsburgh, PA, (17) Methods Development Laboratory, Broad Institute,
Cambridge, MA, (18) Department of Microbiology and Immunology, University of
Michigan, Ann Arbor, MI, (19) Sage Bionetworks, Seattle, WA, (20) Department
of Radiology, Brigham and Women's Hospital, Harvard Medical School, Boston,
MA, (21) Department of Epidemiology and Biostatistics, City University of New
York Graduate School of Public Health and Health Policy, New York, NY)
- Abstract要約: 使用状況と影響メトリクスの分析は、開発者がユーザとコミュニティのエンゲージメントを決定するのに役立つ。
これらの分析には、歪んだ、あるいは誤解を招くメトリクスを含む課題がある。
一部のツールは、小規模な聴衆には特に有益かもしれないが、魅力的な典型的な利用指標を持っていないかもしれない。
- 参考スコア（独自算出の注目度）: 17.645303073710732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software is vital for the advancement of biology and medicine. Analysis of
usage and impact metrics can help developers determine user and community
engagement, justify additional funding, encourage additional use, identify
unanticipated use cases, and help define improvement areas. However, there are
challenges associated with these analyses including distorted or misleading
metrics, as well as ethical and security concerns. More attention to the
nuances involved in capturing impact across the spectrum of biological software
is needed. Furthermore, some tools may be especially beneficial to a small
audience, yet may not have compelling typical usage metrics. We propose more
general guidelines, as well as strategies for more specific types of software.
We highlight outstanding issues regarding how communities measure or evaluate
software impact. To get a deeper understanding of current practices for
software evaluations, we performed a survey of participants in the Informatics
Technology for Cancer Research (ITCR) program funded by the National Cancer
Institute (NCI). We also investigated software among this community and others
to assess how often infrastructure that supports such evaluations is
implemented and how this impacts rates of papers describing usage of the
software. We find that developers recognize the utility of analyzing software
usage, but struggle to find the time or funding for such analyses. We also find
that infrastructure such as social media presence, more in-depth documentation,
the presence of software health metrics, and clear information on how to
contact developers seem to be associated with increased usage rates. Our
findings can help scientific software developers make the most out of
evaluations of their software.
- Abstract（参考訳）: ソフトウェアは生物学と医学の発展に不可欠である。
使用状況と影響メトリクスの分析は、開発者がユーザとコミュニティのエンゲージメントを判断し、追加資金を正当化し、さらなる使用を奨励し、予期しないユースケースを特定し、改善領域を定義するのに役立つ。
しかし、これらの分析にまつわる課題には、歪んだり誤解を招くメトリクス、倫理的・セキュリティ上の懸念などが含まれる。
生物学的ソフトウェアのスペクトルにまたがる影響を捉えることにかかわるニュアンスにもっと注意が必要である。
さらに、一部のツールは少数のユーザにとって特に有益かもしれないが、典型的な使用基準を持っていない場合もある。
より一般的なガイドラインと、より特定のタイプのソフトウェアのための戦略を提案する。
我々は、コミュニティがどのようにソフトウェアの影響を計測または評価するかに関する顕著な問題に注目する。
ソフトウェア評価の現在の実践についてより深く理解するために,国立がん研究所(NCI)が資金提供したITCR(Informatics Technology for Cancer Research)プログラムの参加者を対象に調査を行った。
また、このような評価をサポートするインフラの実施頻度と、それがソフトウェアの使用状況を説明する論文の掲載率に与える影響を評価するため、コミュニティ内のソフトウェアについても検討した。
開発者はソフトウェアの利用分析の有用性を認識しているが、そのような分析に費やす時間や資金を見つけるのに苦労している。
また、ソーシャルメディアの存在、より詳細なドキュメント、ソフトウェアヘルスメトリクスの存在、開発者との接触方法の明確化といったインフラストラクチャが、利用率の上昇と関係していることも分かりました。
私たちの発見は、科学ソフトウェア開発者がソフトウェアの評価を最大限に活用するのに役立ちます。
関連論文リスト
- Ethical software requirements from user reviews: A systematic literature review [0.0]
このSLRは,既存の倫理的要件の特定・分析を目的としている。
倫理的要件収集は、ソフトウェアアプリケーションにおける意思決定におけるMLとAIベースのアプローチの台頭により、最近、研究コミュニティに対する大きな関心を呼び起こした。
論文 参考訳（メタデータ） (2024-09-18T19:56:19Z) - How to Measure Performance in Agile Software Development? A Mixed-Method Study [2.477589198476322]
この研究は、アジャイルソフトウェア開発のパフォーマンス指標を実際に使用するときに生じる課題を特定することを目的としている。
結果として、広く使用されているパフォーマンスメトリクスが実際に広く使用されている一方で、アジャイルソフトウェア開発チームは透明性と標準化の欠如と不十分な正確性のために、課題に直面しています。
論文 参考訳（メタデータ） (2024-07-08T19:53:01Z) - Efficacy of static analysis tools for software defect detection on open-source projects [0.0]
この調査では、SonarQube、PMD、Checkstyle、FindBugsといった一般的な分析ツールを使って比較を行った。
その結果,SonarQubeの欠陥検出は,他のツールと比較してかなり優れていることがわかった。
論文 参考訳（メタデータ） (2024-05-20T19:05:32Z) - Charting a Path to Efficient Onboarding: The Role of Software
Visualization [49.1574468325115]
本研究は,ソフトウェアビジュアライゼーションツールを用いたマネージャ,リーダ,開発者の親しみやすさを探求することを目的としている。
本手法は, 質問紙調査と半構造化面接を用いて, 実践者から収集したデータの量的, 質的分析を取り入れた。
論文 参考訳（メタデータ） (2024-01-17T21:30:45Z) - Analyzing the Influence of Processor Speed and Clock Speed on Remaining Useful Life Estimation of Software Systems [0.9831489366502301]
本研究は,オペレーティングシステムやクロック速度などの環境特性の変化がソフトウェアにおけるRUL推定に与える影響を評価するために,解析を拡張した。
検出は、制御されたテストベッドの実際のパフォーマンスデータを用いて厳格に検証され、予測モデル生成データと比較される。
この調査は、ソフトウェアのメンテナンスと最適化戦略に実用的な知識をもたらす。
論文 参考訳（メタデータ） (2023-09-22T04:46:34Z) - Using Machine Learning To Identify Software Weaknesses From Software
Requirement Specifications [49.1574468325115]
本研究は、要求仕様からソフトウェア弱点を特定するための効率的な機械学習アルゴリズムを見つけることに焦点を当てる。
ProMISE_exp. Naive Bayes、サポートベクターマシン(SVM)、決定木、ニューラルネットワーク、畳み込みニューラルネットワーク(CNN)アルゴリズムをテストした。
論文 参考訳（メタデータ） (2023-08-10T13:19:10Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳（メタデータ） (2023-04-18T15:35:43Z) - Understanding metric-related pitfalls in image analysis validation [59.15220116166561]
この研究は、画像解析におけるバリデーションメトリクスに関連する落とし穴に関する情報にアクセスするための、初めての包括的な共通点を提供する。
バイオメディカル画像解析に焦点をあてるが、他の分野へ移行する可能性があるため、対処された落とし穴はアプリケーションドメイン全体にわたって一般化され、新しく作成されたドメインに依存しない分類に分類される。
論文 参考訳（メタデータ） (2023-02-03T14:57:40Z) - Towards a Fair Comparison and Realistic Design and Evaluation Framework
of Android Malware Detectors [63.75363908696257]
一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。
データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。
その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
論文 参考訳（メタデータ） (2022-05-25T08:28:08Z) - AI Explainability 360: Impact and Design [120.95633114160688]
2019年、私たちはAI Explainability 360(Arya et al. 2020)を開発しました。
本稿では,いくつかのケーススタディ,統計,コミュニティフィードバックを用いて,ツールキットが与える影響について検討する。
また,ツールキットのフレキシブルな設計,使用例,利用者が利用可能な教育資料や資料についても述べる。
論文 参考訳（メタデータ） (2021-09-24T19:17:09Z) - Investigating Software Usage in the Social Sciences: A Knowledge Graph
Approach [0.483420384410068]
我々は、社会科学から51,000以上の科学論文から引用されたソフトウェアに関する情報を含む知識グラフ「SoftwareKG」を提示する。
LSTMベースのニューラルネットワークをトレーニングするために、ニューラルネットワークを使用して、科学論文に記載されているソフトウェアを識別した。
我々は、社会科学におけるソフトウェアの役割を評価するために、SoftwareKGをどのように利用できるかを示す。
論文 参考訳（メタデータ） (2020-03-24T08:38:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。