論文の概要: Can LLMs Generate Architectural Design Decisions? -An Exploratory Empirical study

• arxiv url: http://arxiv.org/abs/2403.01709v1
• Date: Mon, 4 Mar 2024 03:56:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:19:32.068496
• Title: Can LLMs Generate Architectural Design Decisions? -An Exploratory Empirical study
• Title（参考訳）: LLMはアーキテクチャ設計の決定を生成できるか? -探究的実証的研究
• Authors: Rudra Dhar, Karthik Vaidhyanathan, Vasudeva Varma
• Abstract要約: アーキテクチャ知識管理(AKM)の本質的な成果は、アーキテクチャ決定記録(ADR)である。 彼らの利点にもかかわらず、ADRがソフトウェア開発に採用されるのは、時間的制約や一貫性のない取り込みといった課題のために遅い。 大規模言語モデル(LLM)の最近の進歩は、ADR生成を容易にすることで、この採用ギャップを埋めるのに役立つかもしれない。
• 参考スコア（独自算出の注目度）: 10.051928501109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Architectural Knowledge Management (AKM) involves the organized handling of information related to architectural decisions and design within a project or organization. An essential artifact of AKM is the Architecture Decision Records (ADR), which documents key design decisions. ADRs are documents that capture decision context, decision made and various aspects related to a design decision, thereby promoting transparency, collaboration, and understanding. Despite their benefits, ADR adoption in software development has been slow due to challenges like time constraints and inconsistent uptake. Recent advancements in Large Language Models (LLMs) may help bridge this adoption gap by facilitating ADR generation. However, the effectiveness of LLM for ADR generation or understanding is something that has not been explored. To this end, in this work, we perform an exploratory study that aims to investigate the feasibility of using LLM for the generation of ADRs given the decision context. In our exploratory study, we utilize GPT and T5-based models with 0-shot, few-shot, and fine-tuning approaches to generate the Decision of an ADR given its Context. Our results indicate that in a 0-shot setting, state-of-the-art models such as GPT-4 generate relevant and accurate Design Decisions, although they fall short of human-level performance. Additionally, we observe that more cost-effective models like GPT-3.5 can achieve similar outcomes in a few-shot setting, and smaller models such as Flan-T5 can yield comparable results after fine-tuning. To conclude, this exploratory study suggests that LLM can generate Design Decisions, but further research is required to attain human-level generation and establish standardized widespread adoption.
• Abstract（参考訳）: アーキテクチャ知識管理 (Architectural Knowledge Management, AKM) は、プロジェクトや組織内でのアーキテクチャ上の決定や設計に関連する情報の組織的な処理である。 AKMの重要なアーティファクトはアーキテクチャ決定レコード(ADR)であり、重要な設計決定を文書化している。 adrは、意思決定コンテキスト、意思決定、設計決定に関連するさまざまな側面を捉え、透明性、コラボレーション、理解を促進する文書である。 彼らの利点にもかかわらず、ADRによるソフトウェア開発の採用は、時間的制約や一貫性のない取り込みといった課題のために遅い。 大規模言語モデル(LLM)の最近の進歩は、ADR生成を容易にすることで、この採用ギャップを埋めるのに役立つかもしれない。 しかし, ADR 生成や理解における LLM の有効性は検討されていない。 この目的を達成するために,本研究では,意思決定コンテキストを考慮したALMを用いたADR生成の可能性を検討するための探索的研究を行う。 探索的研究では,0ショット,少数ショット,微調整によるGPTモデルとT5モデルを用いて,その文脈からADRの意思決定を生成する。 以上の結果から,GPT-4のような最先端のモデルでは,人間レベルの性能に欠けるが,関連性があり正確な設計決定が生成されることが示唆された。 さらに、GPT-3.5のようなよりコスト効率の良いモデルでは、数ショット設定で同様の結果が得られ、Flan-T5のような小さなモデルでは、微調整後に同等の結果が得られる。 結論として、この探索的研究は、LCMが設計決定を生成できることを示しているが、人間レベルの生成を達成し、標準化された普及を確立するためにはさらなる研究が必要である。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
  マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。 ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。 提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:47Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• CAUS: A Dataset for Question Generation based on Human Cognition Leveraging Large Language Models [4.962252439662465]
  本稿では,Curious About Uncertain Sceneデータセットを導入し,大規模言語モデルを用いて人間の認知過程をエミュレートし,不確実性を解決する。 我々のアプローチは、推論とクエリの生成を刺激するために、不確実性に埋め込まれたシーン記述を提供することである。 以上の結果から, GPT-4は, 適切な文脈や指示が与えられた場合に, 適切な質問を効果的に生成し, そのニュアンスを把握できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-18T01:31:19Z)
• Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
  大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。 本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。 ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-24T03:11:45Z)
• Scaling Evidence-based Instructional Design Expertise through Large Language Models [0.0]
  本稿では,大規模言語モデル(LLM),特にGPT-4を教育設計の分野で活用することを検討する。 本研究は,エビデンスに基づく教育設計の専門知識のスケールアップに着目し,理論教育学と実践実践のギャップを埋めることを目的としている。 我々は,AIによるコンテンツ生成のメリットと限界について論じ,教育資料の品質確保に人的監督が必要であることを強調した。
  論文  参考訳（メタデータ） (2023-05-31T17:54:07Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。