論文の概要: Can LLMs Extract Architectural Design Decisions from Source Code Commits? - A Preliminary Exploratory Study

• arxiv url: http://arxiv.org/abs/2609.03721v1
• Date: Thu, 03 Sep 2026 11:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.049224
• Title: Can LLMs Extract Architectural Design Decisions from Source Code Commits? - A Preliminary Exploratory Study
• Title（参考訳）: LLMはソースコードから設計決定を抽出できるか? - 予備的な調査研究
• Abstract要約: アーキテクチャ設計決定(ADD)は、ソフトウェアシステムの構造と進化の背後にある根拠を捉えます。 コミットからADDを抽出するのは、暗黙的かつ非構造的な性質のため、難しい。 大規模言語モデル(LLM)は、コードやテキストを理解する上で強力な能力を示している。
• 参考スコア（独自算出の注目度）: 0.09332987715848716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context: Architectural Design Decisions (ADDs) capture the rationale behind the structure and evolution of software systems but are rarely documented explicitly, and are often hidden inside source code commits. Recovering them is important for Architectural Knowledge Management (AKM). Problem: Extracting ADDs from commits is challenging due to their implicit and unstructured nature. Large Language Models (LLMs) have shown strong capabilities in understanding code and text, yet their effectiveness for this task remains underexplored. Study: We present a preliminary study using four LLMs (Gemini 3 Pro, DeepSeek R1, Kimi K2, Qwen3) with zeroshot and fewshot prompting on 30 developer-written ADDs from open-source projects. We score outputs with ROUGE-L, BLEU, METEOR, and BERTScore, and one author manually reviews the Gemini outputs. Results: All models reach a BERT-F1 above 0.81, and fewshot prompting improves alignment (Gemini BERT-F1: 0.828 to 0.847). However, the generated ADDs are often too long, implementation-focused, and miss the rationale behind the decision. This highlights opportunities for architecture-aware LLM systems and automated AKM.
• Abstract（参考訳）: コンテキスト: アーキテクチャ設計決定(ADD)は、ソフトウェアシステムの構造と進化の背後にある理論的根拠を捉えますが、明示的に文書化されることはめったにありません。 それらを取り戻すことはアーキテクチャ知識管理(AKM)にとって重要である。 問題: コミットからADDを抽出するのは、暗黙的かつ非構造的な性質のため難しい。 大規模言語モデル(LLM)は、コードやテキストを理解する上で強力な能力を示してきたが、このタスクの有効性は未解明のままである。 研究: 4つのLCM (Gemini 3 Pro, DeepSeek R1, Kimi K2, Qwen3) を用いた予備的な研究を行い, オープンソースプロジェクトから30の開発者記述型 ADD に対してゼロショット, 少数ショットを付与した。 ROUGE-L, BLEU, METEOR, BERTScoreで出力を評価。 結果: 全てのモデルは0.81以上のBERT-F1に到達し、スナップショットによりアライメントが向上する(Gemini BERT-F1:0.828〜0.847)。 しかしながら、生成されたADDは長すぎることが多く、実装に重点を置いており、決定の背後にある根拠を見逃していることが多い。 これはアーキテクチャを意識したLLMシステムと自動化されたAKMの機会を強調している。

関連論文リスト

• Theory of Code Space: Do Code Agents Understand Software Architecture? [0.0]
  コードエージェントは、分離されたタスクで優れているが、アーキテクチャの理解を必要とするマルチファイルソフトウェアエンジニアリングと苦労する。 エージェントがAI探索中に一貫性のあるアーキテクチャの信念を構築し、維持し、更新できるかどうかを評価するベンチマークである、コード空間の理論(ToCS)を紹介する。
  論文  参考訳（メタデータ） (2026-02-28T11:40:17Z)
• Real-Time Trustworthiness Scoring for LLM Structured Outputs and Data Extraction [4.66261113599649]
  構造化出力の信頼性をリアルタイムに評価する手法を提案する。 また、ミスに満ちていない信頼性の高い基底真理値を持つ最初の公開ベンチマークの1つを提示する。
  論文  参考訳（メタデータ） (2026-02-24T09:17:57Z)
• DEER: Draft with Diffusion, Verify with Autoregressive Models [33.19684425811274]
  投機的復号法は自己回帰復号法の本質的な遅延を緩和する。 効率的な投機的復号化フレームワークであるDEERを紹介する。 実験によると、DEERは最大32個のトークンのドラフト受け入れ長に達する。
  論文  参考訳（メタデータ） (2025-12-17T08:19:04Z)
• Executable Knowledge Graphs for Replicating AI Research [65.41207324831583]
  Executable Knowledge Graphs (xKG) は、科学文献から抽出された技術的洞察、コードスニペット、ドメイン固有の知識を自動的に統合するモジュラーでプラグイン可能な知識基盤である。 コードはhttps://github.com/zjunlp/xKGでリリースされる。
  論文  参考訳（メタデータ） (2025-10-20T17:53:23Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• DRAFT-ing Architectural Design Decisions using LLMs [7.631177373258237]
  DRAFT(Domain Specific Retreival Augumented Few Shot Fine Tuninng)は、アーキテクチャ設計決定(ADD)の草案作成ツールである。 ADDを生成するための、少数のショット、検索強化された生成と微調整のアプローチの長所を組み合わせたものだ。 DRAFTは,プライバシやリソースの制約に対処しながら,ADDの起草に役立てることができることが示唆された。
  論文  参考訳（メタデータ） (2025-04-11T02:19:01Z)
• When LLMs Meet API Documentation: Can Retrieval Augmentation Aid Code Generation Just as It Helps Developers? [10.204379646375182]
  Retrieval-augmented Generation (RAG) は、学習前の知識を超えて、大規模言語モデルの能力(LLM)を拡大する能力を示している。 検索と生成のための新たな知識として,あまり一般的でないAPIライブラリのドキュメンテーションを使用することの有効性に影響を与える要因について検討する。
  論文  参考訳（メタデータ） (2025-03-19T14:08:47Z)
• SWE-Fixer: Training Open-Source LLMs for Effective and Efficient GitHub Issue Resolution [56.9361004704428]
  大規模言語モデル(LLM)は、様々な複雑なタスクにまたがる顕著な習熟度を示している。 SWE-Fixerは、GitHubの問題を効果的かつ効率的に解決するために設計された、新しいオープンソースフレームワークである。 我々は,SWE-Bench LiteとVerifiedベンチマークに対するアプローチを評価し,オープンソースモデル間の競合性能を実現する。
  論文  参考訳（メタデータ） (2025-01-09T07:54:24Z)
• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。 バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories [83.5195424237358]
  既存のベンチマークは、現実世界のコードリポジトリと不整合である。 我々はDevEvalという新しいベンチマークを提案し、これは3つの進歩がある。 DevEvalは117のリポジトリから1,874のサンプルを持ち、10の人気のあるドメインをカバーする。
  論文  参考訳（メタデータ） (2024-05-30T09:03:42Z)
• Enhancing Open-Domain Task-Solving Capability of LLMs via Autonomous Tool Integration from GitHub [79.31134731122462]
  オープンドメインのタスク解決能力を評価するためにOpenActベンチマークを導入します。 我々は,オープンドメインの進化するクエリに,GitHubから専門ツールを自律的に統合することで対処できる,新しいLLMベースのエージェントシステムであるOpenAgentを紹介する。
  論文  参考訳（メタデータ） (2023-12-28T15:47:30Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。