論文の概要: Towards Supporting Quality Architecture Evaluation with LLM Tools

• arxiv url: http://arxiv.org/abs/2603.28914v1
• Date: Mon, 30 Mar 2026 18:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:02.670423
• Title: Towards Supporting Quality Architecture Evaluation with LLM Tools
• Title（参考訳）: LLMツールによる品質アーキテクチャ評価支援に向けて
• Authors: Rafael Capilla, Jorge Andrés Díaz-Pace, Yamid Ramírez, Jennifer Pérez, Vanessa Rodríguez-Horcajo,
• Abstract要約: 本稿では,LLMツールとしてのMS Copilotについて,学生が提案する品質貢献シナリオを分析し,経験者によるレビューを行う。 最初の結果から,LLMは手動で生成した品質シナリオのリスクや感度点,トレードオフ分析に関して,より正確で正確な結果を生成するとともに,作業に要する労力を大幅に削減することがわかった。
• 参考スコア（独自算出の注目度）: 0.48563015521171976
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Architecture evaluation methods have been extensively used to evaluate software designs. Several evaluation methods have been proposed to analyze tradeoffs between different quality attributes. Also, having competing qualities leads to conflicts when selecting which quality-attribute scenarios are the most suitable ones for an architecture to tackle. Consequently, the scenarios required by the stakeholders must be prioritized and also analyzed for potential risks. Today, architecture quality evaluation is still carried out manually, often involving long brainstorming sessions to decide on the most adequate quality-attribute scenarios for the architecture. To reduce this effort and make the assessment and selection of scenarios more efficient, in this research we propose the use of LLMs to partially automate the evaluation activities. As a first step in validating this hypothesis, this paper investigates MS Copilot as an LLM tool to analyze quality-attribute scenarios suggested by students and reviewed by experienced architects. Specifically, our study compares the results of an Architecture Tradeoff Analysis Method (ATAM) exercise conducted in a software architecture course with the results of experienced software architects and with the output produced by the LLM tool. Our initial findings reveal that the LLM produces in most cases better and more accurate results regarding risks, sensitivity points and tradeoff analysis of the quality scenarios generated manually, as well as it significantly reduces the effort required for the task. Thus, we argue that the use of generative AI has the potential to partially automate and support architecture evaluation tasks by suggesting more qualitative scenarios to be evaluated and recommending the most suitable ones for a given context.
• Abstract（参考訳）: アーキテクチャ評価手法はソフトウェア設計の評価に広く用いられている。 異なる品質特性間のトレードオフを分析するために,いくつかの評価手法が提案されている。 また、競合する品質を持つことは、どの品質属性シナリオがアーキテクチャに取り組むのに最も適しているかを選択するときに矛盾を引き起こす。 その結果、ステークホルダーが要求するシナリオは優先順位付けされ、潜在的なリスクについて分析されなければなりません。 現在、アーキテクチャの品質評価はまだ手作業で行われており、多くの場合、アーキテクチャの最も適切な品質貢献シナリオを決定するために、長時間のブレインストーミングセッションを含む。 本研究では, この取り組みを削減し, シナリオの評価と選択をより効率的にするため, 評価活動を部分的に自動化するためにLLMを使うことを提案する。 この仮説を検証するための第一歩として、学生が提案し、経験豊富な建築家がレビューした品質貢献シナリオを分析するためのLLMツールとしてのMS Copilotについて検討する。 具体的には、ソフトウェアアーキテクチャコースで実施したアーキテクチャトレードオフ分析手法(ATAM)の結果と、経験豊富なソフトウェアアーキテクトの結果と、LLMツールによるアウトプットを比較した。 最初の結果から,LLMは手動で生成した品質シナリオのリスクや感度点,トレードオフ分析に関して,より正確で正確な結果を生成するとともに,作業に要する労力を大幅に削減することがわかった。 このように、生成AIの使用は、より質的なシナリオを提案し、与えられたコンテキストに最も適したシナリオを推奨することによって、アーキテクチャ評価タスクを部分的に自動化し、サポートする可能性があると論じる。

関連論文リスト

• Using LLMs to Evaluate Architecture Documents: Results from a Digital Marketplace Environment [0.0]
  LLMによるアーキテクチャ文書の評価は、ソフトウェアアーキテクトがそのような成果物を改善するのにどう役立つかを検討する。 我々は異なるLCMを用いてアーキテクチャ文書の質を分析し、その結果をソフトウェアアーキテクトの評価と比較した。 このアーキテクチャタスクでLLMを使うことは有望だが、さらなる分析を必要とする不整合を示した。
  論文  参考訳（メタデータ） (2026-01-27T15:11:01Z)
• Large Language Models in Thematic Analysis: Prompt Engineering, Evaluation, and Guidelines for Qualitative Software Engineering Research [5.0043780915457114]
  大規模言語モデル (LLMs) は定性的な研究に参入しているが、それらを数理解析 (thematic analysis, TA) のような確立されたアプローチに統合するための再現可能な手法は存在しない。 我々はブラウンとクラークの反射性TAの位相2-5のプロンプトを設計・繰り返し改良した。 ブラウンとクラークの品質基準から導出した潤滑剤を応用した4つの専門家評価器を用いてブラインド評価を行った。
  論文  参考訳（メタデータ） (2025-10-21T09:29:18Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• Supporting architecture evaluation for ATAM scenarios with LLMs [0.6136099525128398]
  この研究は、ソフトウェアアーキテクチャコースの学生が提案する品質シナリオを分析するためのLLMツールとしてMS Copilotを研究している。 最初の研究は、LLMが品質シナリオのリスク、感度ポイント、トレードオフ分析に関して、ほとんどのケースにおいて、より正確で正確な結果を生み出すことを明らかにした。
  論文  参考訳（メタデータ） (2025-05-30T18:42:12Z)
• Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
  大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。 従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。 本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:45Z)
• Designing Algorithms Empowered by Language Models: An Analytical Framework, Case Studies, and Insights [86.06371692309972]
  本研究では,大規模言語モデル(LLM)に基づくアルゴリズムの設計と解析のための分析フレームワークを提案する。 提案する枠組みは頭痛を緩和する試みとして機能する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• From Requirements to Architecture: An AI-Based Journey to Semi-Automatically Generate Software Architectures [2.4150871564195007]
  本稿では,人工知能技術を用いた要件に基づくソフトウェアアーキテクチャ候補生成手法を提案する。 さらに、生成したアーキテクチャ候補の自動評価とトレードオフ分析を計画する。
  論文  参考訳（メタデータ） (2024-01-25T10:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。