論文の概要: CAPRA: Scaling Feedback on Software Architecture Deliverables with a Multi-Agent LLM System

• arxiv url: http://arxiv.org/abs/2606.18976v1
• Date: Wed, 17 Jun 2026 12:00:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.15116
• Title: CAPRA: Scaling Feedback on Software Architecture Deliverables with a Multi-Agent LLM System
• Title（参考訳）: CAPRA:マルチエージェントLLMシステムによるソフトウェアアーキテクチャデリバリへのフィードバック拡大
• Authors: Marco Becattini, Niccolò Caselli, Matteo Minin, Roberto Verdecchia, Enrico Vicario,
• Abstract要約: 本稿では,テンプレートに準拠したアーキテクチャフィードバックを生成するために,ソフトウェアアーキテクチャの成果物を分析するマルチエージェントシステムCAPRAを提案する。 10の報告に対する予備的経験的評価は、CAPRAが88.8%の基準を満たしていることを示している。
• 参考スコア（独自算出の注目度）: 4.37294181347758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated assessment in software engineering education has advanced significantly for code grading and essay scoring. However, reviewing software architecture deliverables, which requires analyzing structural completeness and requirements traceability, has not yet been fully automated. Applying Large Language Models (LLMs) to this task requires robust architectures to ensure technical feedback is accurate and reliable for students. This paper presents CAPRA (Configurable Architecture Proficiency Report Assessment), a multi-agent LLM system that analyzes software architecture deliverables to generate personalized, template-compliant LaTeX feedback. As a core design choice, CAPRA coordinates multiple specialized agents and employs a Python-based microservice for multi-modal document extraction, utilizing PyMuPDF and vision-enabled LLMs (specifically gpt-4o) to parse text and UML diagrams. To ensure educational reliability and mitigate hallucinations, CAPRA introduces a deterministic Evidence Anchoring step using fuzzy matching via normalized Levenshtein distance, along with a ConsistencyManager agent that cross-verifies, deduplicates, and merges findings. System performance is assessed using a structured eight-criterion binary evaluation taxonomy covering: (i) extraction completeness, (ii) feature validation, (iii) issue grounding and severity detection, (iv) recommendation specificity and traceability, and (v) template and tone compliance. A preliminary empirical evaluation on 10 student reports shows that CAPRA satisfied 88.8% of the evaluated criteria under a strict two-rater aggregation rule, achieved moderate inter-rater agreement with human evaluators (kappa = 0.582), and processed each report in slightly over 4 minutes. While these results support the viability of LLM-supported architectural feedback, human oversight remains essential for subjective assessment dimensions.
• Abstract（参考訳）: ソフトウェア工学教育における自動評価は、コードグレーディングとエッセイスコアリングに大きく進歩している。 しかし、構造的完全性と要求トレーサビリティの分析を必要とするソフトウェアアーキテクチャの成果物については、まだ完全に自動化されていない。 このタスクにLarge Language Models (LLM)を適用するには、学生にとって技術的フィードバックが正確で信頼性の高いことを保証するための堅牢なアーキテクチャが必要である。 本稿では,多エージェントLCMシステムであるCAPRA(Configurable Architecture Proficiency Report Assessment)について述べる。 コア設計選択として、CAPRAは複数の特殊エージェントをコーディネートし、Pythonベースのマイクロサービスをマルチモーダル文書抽出に使用し、PyMuPDFと視覚対応LLM(特にgpt-4o)を使用してテキストとUML図を解析する。 教育的信頼性の確保と幻覚の緩和を目的として、CAPRAは正規化レベンシュテイン距離によるファジィマッチングを用いた決定論的エビデンスアンカリングと、発見を相互に検証し、分解し、マージするConsistencyManagerエージェントを導入する。 構造付き8基準バイナリ評価分類を用いてシステム性能を評価する。 (i)抽出完全性 (ii)機能検証 三 接地及び重度検出 (四)推奨明細度及びトレーサビリティ、 (v)テンプレートとトーンコンプライアンス。 10人の学生の報告に対する予備的実証評価では、CAPRAは厳格な2レータ集約規則の下で評価基準の88.8%を満足し、ヒト評価者(kappa = 0.582)と適度なラスタ間協定(kappa = 0.582)を達成し、各レポートをわずか4分で処理した。 これらの結果は,LLMが支援するアーキテクチャフィードバックの実現性を支持する一方で,主観的評価次元には人間の監視が不可欠である。

関連論文リスト

• Code2UML: Agentic LLMs with context engineering for scalable software visualization [7.069738194755401]
  本稿では,ソースコードリポジトリからの自動ダイアグラム生成のためのコンテキストエンジニアリングを備えたエージェントアーキテクチャを提案する。 PlannerAgent、Analyzer DiagramAgent、CorrectorAgent、DependencyAnalyzerAgentの5つの特別なエージェントの階層を採用しており、Claude Agent SDK上に構築されている。 決定論的で重み付けされたIR圧縮層は、完全なプロジェクトIRをトークン制約に適合するように保証されたダイアグラム固有のビューに変換する。
  論文  参考訳（メタデータ） (2026-05-23T08:01:26Z)
• TraceLLM: Leveraging Large Language Models with Prompt Engineering for Enhanced Requirements Traceability [4.517933493143603]
  本稿では,要求トレーサビリティ向上のためのフレームワークであるTraceLLMを紹介する。 我々は,4つのベンチマークデータセット上で8つの最先端LCMを用いて,迅速な一般化とロバスト性を評価する。
  論文  参考訳（メタデータ） (2026-02-01T14:29:13Z)
• LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
  textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。 我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。 我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
  論文  参考訳（メタデータ） (2025-11-17T23:57:24Z)
• SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models [59.90381306452982]
  ソフトウェアエンジニアリングのための大規模言語モデル(LLM)の評価は、タスクカバレッジの狭さ、言語バイアス、現実世界の開発者との整合性の不足によって制限されている。 SWE-1は、不均一なコード関連評価を構造化および生産整合性のあるフレームワークに統合する包括的なベンチマークである。 SWE-は8つのタスクタイプ、8つのプログラミングシナリオ、10のプログラミング言語にまたがる。
  論文  参考訳（メタデータ） (2025-11-07T18:01:32Z)
• CRACQ: A Multi-Dimensional Approach To Automated Document Assessment [0.0]
  CRACQは、コヒーレンス、リゴール、適切性、完全性、品質といった、f i v e特有の特性で文書を評価するのに適した多次元評価フレームワークである。 言語的、意味的、構造的なシグナルを累積評価に統合し、全体的および特性レベルの分析を可能にする。
  論文  参考訳（メタデータ） (2025-09-26T17:01:54Z)
• AutoSCORE: Enhancing Automated Scoring with Multi-Agent Large Language Models via Structured Component Recognition [27.312190686305588]
  大規模言語モデル(LLM)は、自動スコアリングにおいて大きな可能性を示している。 エンド・ツー・エンドのレーダとしての使用は、低い正確性、迅速な感度、限定的な解釈可能性、ルーリックなミスアライメントといった課題に直面している。 本稿では,多エージェント LLM フレームワークである AutoSCORE を提案する。
  論文  参考訳（メタデータ） (2025-09-26T05:45:14Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
  textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。 SCANには4つの重要なコンポーネントが含まれている。 TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。 RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。 PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
  論文  参考訳（メタデータ） (2025-05-10T16:52:40Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。