論文の概要: A conceptual framework for SPI evaluation
- arxiv url: http://arxiv.org/abs/2307.13089v1
- Date: Mon, 24 Jul 2023 19:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 16:21:39.589028
- Title: A conceptual framework for SPI evaluation
- Title(参考訳): SPI評価のための概念的枠組み
- Authors: Michael Unterkalmsteiner, Tony Gorschek, A. K. M. Moinul Islam, Chow
Kian Cheng, Rahadian Bayu Permadi, Robert Feldt
- Abstract要約: SPI-MEFは、評価のスコーピング、測定、評価の実行において実践者を導く。
SPI-MEFはプロセス改善の具体的なアプローチを前提とせず、既存の測定プログラムに統合できる。
- 参考スコア(独自算出の注目度): 6.973622134568803
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Software Process Improvement (SPI) encompasses the analysis and modification
of the processes within software development, aimed at improving key areas that
contribute to the organizations' goals. The task of evaluating whether the
selected improvement path meets these goals is challenging. On the basis of the
results of a systematic literature review on SPI measurement and evaluation
practices, we developed a framework (SPI Measurement and Evaluation Framework
(SPI-MEF)) that supports the planning and implementation of SPI evaluations.
SPI-MEF guides the practitioner in scoping the evaluation, determining
measures, and performing the assessment. SPI-MEF does not assume a specific
approach to process improvement and can be integrated in existing measurement
programs, refocusing the assessment on evaluating the improvement initiative's
outcome. Sixteen industry and academic experts evaluated the framework's
usability and capability to support practitioners, providing additional
insights that were integrated in the application guidelines of the framework.
- Abstract(参考訳): ソフトウェアプロセス改善(SPI)は、組織の目標に寄与する重要な領域を改善することを目的として、ソフトウェア開発におけるプロセスの分析と修正を含む。
選択した改善パスがこれらの目標を達成するかどうかを評価するタスクは難しい。
本研究では,SPI測定および評価実践に関する体系的な文献レビューの結果に基づいて,SPI評価の計画と実施を支援するフレームワーク(SPI-MEF)を開発した。
SPI-MEFは、評価のスコーピング、測定、評価の実行において実践者を導く。
SPI-MEFは、プロセス改善の具体的なアプローチを前提とせず、既存の測定プログラムに統合し、改善イニシアティブの結果を評価するための評価を再考する。
16の業界と学術の専門家が、実践者を支援するためのフレームワークのユーザビリティと能力を評価し、フレームワークのアプリケーションガイドラインに組み込まれたさらなる洞察を提供した。
関連論文リスト
- Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。
実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。
本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
論文 参考訳(メタデータ) (2024-10-20T16:08:54Z) - Improving the Validity and Practical Usefulness of AI/ML Evaluations Using an Estimands Framework [2.4861619769660637]
本稿では,国際臨床治験ガイドラインを応用した評価フレームワークを提案する。
このフレームワークは、評価の推測と報告のための体系的な構造を提供する。
我々は、このフレームワークが根底にある問題、その原因、潜在的な解決策を明らかにするのにどのように役立つかを実証する。
論文 参考訳(メタデータ) (2024-06-14T18:47:37Z) - Holistic Safety and Responsibility Evaluations of Advanced AI Models [18.34510620901674]
高度なAIモデルの安全性と責任評価は、研究と実践の重要な分野である。
Google DeepMindの高度なAIモデルの開発において、安全評価に幅広いアプローチを革新し、適用しました。
論文 参考訳(メタデータ) (2024-04-22T10:26:49Z) - LLM as a Mastermind: A Survey of Strategic Reasoning with Large Language Models [75.89014602596673]
戦略推論は、戦略を調整しながら、マルチエージェント設定における敵の行動を理解し、予測する必要がある。
大規模言語モデルを用いた戦略的推論に関連するスコープ,アプリケーション,方法論,評価指標について検討する。
戦略的推論を重要な認知能力として重要視し、将来の研究の方向性や潜在的な改善に関する洞察を提供する。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - Literature Review of Current Sustainability Assessment Frameworks and
Approaches for Organizations [10.045497511868172]
本稿では,サステナビリティ・アセスメント・フレームワーク(SAF)を多種多様な産業に展開する。
本稿では,サステナビリティ・インジケータ(SI)の選択方法,相対的重要性評価,相互依存分析など,SAF設計のアプローチに焦点を当てる。
論文 参考訳(メタデータ) (2024-03-07T18:14:52Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [76.95062553043607]
大きな言語モデル(LLM)を評価することは、その能力を理解し、実践的なアプリケーションへの統合を促進するために不可欠である。
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
論文 参考訳(メタデータ) (2024-01-24T01:51:00Z) - Evaluating General-Purpose AI with Psychometrics [43.85432514910491]
本稿では,大規模言語モデルなどの汎用AIシステムの包括的かつ正確な評価の必要性について論じる。
現在の評価手法は、主に特定のタスクのベンチマークに基づいており、これらの汎用AIシステムを適切に評価するには不十分である。
これらの課題に対処するため,タスク指向評価から構成指向評価への移行を提案する。
論文 参考訳(メタデータ) (2023-10-25T05:38:38Z) - Evaluation and Measurement of Software Process Improvement -- A
Systematic Literature Review [6.973622134568803]
ソフトウェアプロセス改善(Software Process Improvement, SPI)は、ソフトウェア開発組織の効率性と効率性を高めるための体系的なアプローチである。
本研究の目的は、異なるSPIイニシアチブの効果を評価するために用いられる評価戦略と測定値を特定し、特徴付けることである。
論文 参考訳(メタデータ) (2023-07-24T21:51:15Z) - Unifying Gradient Estimators for Meta-Reinforcement Learning via
Off-Policy Evaluation [53.83642844626703]
オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。
本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
論文 参考訳(メタデータ) (2021-06-24T15:58:01Z) - Evaluating Interactive Summarization: an Expansion-Based Framework [97.0077722128397]
対話型要約のためのエンドツーエンド評価フレームワークを開発した。
我々のフレームワークには、実際のユーザセッションの収集手順と、標準に依存する評価方法が含まれています。
当社のソリューションはすべて、ベンチマークとして公開されることを意図しています。
論文 参考訳(メタデータ) (2020-09-17T15:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。