論文の概要: LLM-based Automated Architecture View Generation: Where Are We Now?
- arxiv url: http://arxiv.org/abs/2603.21178v1
- Date: Sun, 22 Mar 2026 11:41:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.280174
- Title: LLM-based Automated Architecture View Generation: Where Are We Now?
- Title(参考訳): LLMベースのアーキテクチャビュー自動生成:今どこにいるのか?
- Authors: Miryala Sathvika, Rudra Dhar, Karthik Vaidhyanathan,
- Abstract要約: ソースコードからアーキテクチャビューを生成するLLMとエージェントアプローチの能力を評価する。
ゼロショットのプロンプトはゼロショットのベースラインに比べて、クリアリティの失敗を9.2%削減する。
カスタムエージェントアプローチは、汎用エージェントよりも一貫して優れています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Architecture views are essential for software architecture documentation, yet their manual creation is labor intensive and often leads to outdated artifacts. As systems grow in complexity, the automated generation of views from source code becomes increasingly valuable. Goal: We empirically evaluate the ability of LLMs and agentic approaches to generate architecture views from source code. Method: We analyze 340 open-source repositories across 13 experimental configurations using 3 LLMs with 3 prompting techniques and 2 agentic approaches, yielding 4,137 generated views. We evaluate the generated views by comparing them with the ground-truth using a combination of automated metrics complemented by human evaluations. Results: Prompting strategies offer marginal improvements. Few-shot prompting reduces clarity failures by 9.2% compared to zero-shot baselines. The custom agentic approach consistently outperforms the general-purpose agent, achieving the best clarity (22.6% failure rate) and level-of-detail success (50%). Conclusions: LLM and agentic approaches demonstrate capabilities in generating syntactically valid architecture views. However, they consistently exhibit granularity mismatches, operating at the code level rather than architectural abstractions. This suggests that there is still a need for human expertise, positioning LLMs and agents as assistive tools rather than autonomous architects.
- Abstract(参考訳): ソフトウェアアーキテクチャのドキュメントにはアーキテクチャビューが不可欠ですが、手作業による作成は集中的であり、多くの場合、時代遅れのアーティファクトにつながります。
システムが複雑化するにつれて、ソースコードからのビューの自動生成はますます価値を高めます。
Goal: ソースコードからアーキテクチャビューを生成するためのLLMとエージェントアプローチの能力を実証的に評価します。
方法: 3つのプロンプト技術と2つのエージェントアプローチを持つ3つのLSMを用いて,13の実験的な構成で340のオープンソースリポジトリを分析し,4,137のビューを生成する。
人的評価を補完する自動測度の組み合わせを用いて, 生成した視線を基礎構造と比較して評価する。
結果: プロンプティング戦略は限界的な改善をもたらす。
ゼロショットのプロンプトはゼロショットのベースラインに比べて、クリアリティの失敗を9.2%削減する。
カスタムエージェントアプローチは汎用エージェントを一貫して上回り、最高の明快さ(22.6%の失敗率)とレベル・オブ・詳細成功(50%)を達成する。
結論: LLMとエージェントアプローチは、構文的に有効なアーキテクチャビューを生成する能力を示している。
しかし、それらはアーキテクチャの抽象化よりもコードレベルでの粒度のミスマッチを一貫して示します。
これは、LLMやエージェントを自律的なアーキテクトではなく支援ツールとして位置づける、人間の専門知識がまだ必要であることを示唆している。
関連論文リスト
- Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation [3.9189409002585567]
大規模言語モデル(LLM)は関数レベルのコード生成ベンチマークで強い性能を示している。
本稿では,実環境下での一般化を評価するために,実世界のオープンソースリポジトリから得られたベンチマークを紹介する。
入力仕様の完全性と検索拡張生成が複数の最先端LCMのクラスレベルの正しさにどのように影響するかを検討する。
論文 参考訳(メタデータ) (2025-10-30T04:30:23Z) - Evaluating the Use of LLMs for Documentation to Code Traceability [3.076436880934678]
大規模言語モデルは、様々なソフトウェアドキュメンテーションとソースコードの間のトレースリンクを確立することができる。
私たちは2つのオープンソースプロジェクト(Unity CatalogとCrawl4AI)から2つの新しいデータセットを作成します。
その結果、最高の性能のLLMは2つのデータセットで79.4%と80.4%のF1スコアを達成した。
論文 参考訳(メタデータ) (2025-06-19T16:18:53Z) - AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science [8.281093505963158]
大規模言語モデル(LLM)は、実行可能なコード生成を通じてデータ分析を自動化するために、ますます使われるようになっている。
本稿では,LLM生成データ分析の自動評価と改善のための分析・検査フレームワークであるAIReprについて述べる。
論文 参考訳(メタデータ) (2025-02-23T01:15:50Z) - AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。
本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
論文 参考訳(メタデータ) (2024-06-17T04:20:02Z) - Enhancing Open-Domain Task-Solving Capability of LLMs via Autonomous Tool Integration from GitHub [79.31134731122462]
オープンドメインのタスク解決能力を評価するためにOpenActベンチマークを導入します。
我々は,オープンドメインの進化するクエリに,GitHubから専門ツールを自律的に統合することで対処できる,新しいLLMベースのエージェントシステムであるOpenAgentを紹介する。
論文 参考訳(メタデータ) (2023-12-28T15:47:30Z) - Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。
コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。
直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
論文 参考訳(メタデータ) (2023-04-19T06:00:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。