論文の概要: LLM-based Automated Architecture View Generation: Where Are We Now?
- arxiv url: http://arxiv.org/abs/2603.21178v1
- Date: Sun, 22 Mar 2026 11:41:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.280174
- Title: LLM-based Automated Architecture View Generation: Where Are We Now?
- Title(参考訳): LLMベースのアーキテクチャビュー自動生成:今どこにいるのか?
- Abstract要約: ソースコードからアーキテクチャビューを生成するLLMとエージェントアプローチの能力を評価する。
ゼロショットのプロンプトはゼロショットのベースラインに比べて、クリアリティの失敗を9.2%削減する。
カスタムエージェントアプローチは、汎用エージェントよりも一貫して優れています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Architecture views are essential for software architecture documentation, yet their manual creation is labor intensive and often leads to outdated artifacts. As systems grow in complexity, the automated generation of views from source code becomes increasingly valuable. Goal: We empirically evaluate the ability of LLMs and agentic approaches to generate architecture views from source code. Method: We analyze 340 open-source repositories across 13 experimental configurations using 3 LLMs with 3 prompting techniques and 2 agentic approaches, yielding 4,137 generated views. We evaluate the generated views by comparing them with the ground-truth using a combination of automated metrics complemented by human evaluations. Results: Prompting strategies offer marginal improvements. Few-shot prompting reduces clarity failures by 9.2% compared to zero-shot baselines. The custom agentic approach consistently outperforms the general-purpose agent, achieving the best clarity (22.6% failure rate) and level-of-detail success (50%). Conclusions: LLM and agentic approaches demonstrate capabilities in generating syntactically valid architecture views. However, they consistently exhibit granularity mismatches, operating at the code level rather than architectural abstractions. This suggests that there is still a need for human expertise, positioning LLMs and agents as assistive tools rather than autonomous architects.
- Abstract(参考訳): ソフトウェアアーキテクチャのドキュメントにはアーキテクチャビューが不可欠ですが、手作業による作成は集中的であり、多くの場合、時代遅れのアーティファクトにつながります。
システムが複雑化するにつれて、ソースコードからのビューの自動生成はますます価値を高めます。
Goal: ソースコードからアーキテクチャビューを生成するためのLLMとエージェントアプローチの能力を実証的に評価します。
方法: 3つのプロンプト技術と2つのエージェントアプローチを持つ3つのLSMを用いて,13の実験的な構成で340のオープンソースリポジトリを分析し,4,137のビューを生成する。
人的評価を補完する自動測度の組み合わせを用いて, 生成した視線を基礎構造と比較して評価する。
結果: プロンプティング戦略は限界的な改善をもたらす。
ゼロショットのプロンプトはゼロショットのベースラインに比べて、クリアリティの失敗を9.2%削減する。
カスタムエージェントアプローチは汎用エージェントを一貫して上回り、最高の明快さ(22.6%の失敗率)とレベル・オブ・詳細成功(50%)を達成する。
結論: LLMとエージェントアプローチは、構文的に有効なアーキテクチャビューを生成する能力を示している。
しかし、それらはアーキテクチャの抽象化よりもコードレベルでの粒度のミスマッチを一貫して示します。
これは、LLMやエージェントを自律的なアーキテクトではなく支援ツールとして位置づける、人間の専門知識がまだ必要であることを示唆している。
関連論文リスト
- Recovering Software Architecture Intent from Historical Work Items using Generative AI: A Mixed-Methods Industry Case Study [2.5501791028999583]
LLMベースのパイプラインを使用して、歴史的なアジャイル作業項目からC4アーキテクチャ図を復元する。
半自動5ステップワークフローでは、プロンプトチェーン、双方向トレーサビリティ、チェーン・オブ・ソート推論が採用されている。
提案したワークフローは,開発プロセスの成果物に基づくLLM支援アーキテクチャ回復の実現可能性を示すものである。
論文 参考訳(メタデータ) (2026-08-28T14:56:00Z) - Semantic-Enhanced Automatic Refinement of Architecture Recovery Results Using LLMs [15.87039675625043]
Semrefは、LCMと依存性分析を組み合わせたフレームワークで、既存のアーキテクチャ回復ツールによって復元されたアーキテクチャを自動的に洗練する。
Semrefは、正常化したゲインが17.72%から43.35%の範囲で、さまざまなメトリクスの精度を向上させる。
論文 参考訳(メタデータ) (2026-07-26T17:51:23Z) - SAKE: Software Architectural Knowledge Evaluation Benchmark for Large Language Models [0.0]
大規模言語モデル(LLM)は、ソフトウェア開発ライフサイクル全体にわたってアシスタントとしてますます使われています。
アーキテクチャ上の意思決定は品質特性のトレードオフ、設計パターン、システムレベルの制約に依存します。
我々は、ソフトウェアアーキテクチャの知識を評価するための標準化された再現可能なベンチマークであるSAKEを紹介する。
論文 参考訳(メタデータ) (2026-06-28T17:31:14Z) - Code2UML: Agentic LLMs with context engineering for scalable software visualization [7.069738194755401]
本稿では,ソースコードリポジトリからの自動ダイアグラム生成のためのコンテキストエンジニアリングを備えたエージェントアーキテクチャを提案する。
PlannerAgent、Analyzer DiagramAgent、CorrectorAgent、DependencyAnalyzerAgentの5つの特別なエージェントの階層を採用しており、Claude Agent SDK上に構築されている。
決定論的で重み付けされたIR圧縮層は、完全なプロジェクトIRをトークン制約に適合するように保証されたダイアグラム固有のビューに変換する。
論文 参考訳(メタデータ) (2026-05-23T08:01:26Z) - LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。
我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。
我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
論文 参考訳(メタデータ) (2025-11-17T23:57:24Z) - Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation [3.9189409002585567]
大規模言語モデル(LLM)は関数レベルのコード生成ベンチマークで強い性能を示している。
本稿では,実環境下での一般化を評価するために,実世界のオープンソースリポジトリから得られたベンチマークを紹介する。
入力仕様の完全性と検索拡張生成が複数の最先端LCMのクラスレベルの正しさにどのように影響するかを検討する。
論文 参考訳(メタデータ) (2025-10-30T04:30:23Z) - ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。
我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。
我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
論文 参考訳(メタデータ) (2025-07-07T12:53:00Z) - Evaluating the Use of LLMs for Documentation to Code Traceability [3.076436880934678]
大規模言語モデルは、様々なソフトウェアドキュメンテーションとソースコードの間のトレースリンクを確立することができる。
私たちは2つのオープンソースプロジェクト(Unity CatalogとCrawl4AI)から2つの新しいデータセットを作成します。
その結果、最高の性能のLLMは2つのデータセットで79.4%と80.4%のF1スコアを達成した。
論文 参考訳(メタデータ) (2025-06-19T16:18:53Z) - AgentSwift: Efficient LLM Agent Design via Value-guided Hierarchical Search [58.98450205734779]
大規模言語モデル(LLM)エージェントは、多様なドメインにまたがる強力な機能を示している。
既存のエージェントサーチ手法には3つの大きな制限がある。
これらの課題に対処するための包括的なフレームワークを導入します。
論文 参考訳(メタデータ) (2025-06-06T12:07:23Z) - AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science [8.281093505963158]
大規模言語モデル(LLM)は、実行可能なコード生成を通じてデータ分析を自動化するために、ますます使われるようになっている。
本稿では,LLM生成データ分析の自動評価と改善のための分析・検査フレームワークであるAIReprについて述べる。
論文 参考訳(メタデータ) (2025-02-23T01:15:50Z) - AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。
本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
論文 参考訳(メタデータ) (2024-06-17T04:20:02Z) - Enhancing Open-Domain Task-Solving Capability of LLMs via Autonomous Tool Integration from GitHub [79.31134731122462]
オープンドメインのタスク解決能力を評価するためにOpenActベンチマークを導入します。
我々は,オープンドメインの進化するクエリに,GitHubから専門ツールを自律的に統合することで対処できる,新しいLLMベースのエージェントシステムであるOpenAgentを紹介する。
論文 参考訳(メタデータ) (2023-12-28T15:47:30Z) - Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。
コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。
直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
論文 参考訳(メタデータ) (2023-04-19T06:00:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。