論文の概要: Can LLMs Generate Architectural Design Decisions? -An Exploratory
Empirical study
- arxiv url: http://arxiv.org/abs/2403.01709v1
- Date: Mon, 4 Mar 2024 03:56:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:19:32.068496
- Title: Can LLMs Generate Architectural Design Decisions? -An Exploratory
Empirical study
- Title(参考訳): LLMはアーキテクチャ設計の決定を生成できるか?
-探究的実証的研究
- Authors: Rudra Dhar, Karthik Vaidhyanathan, Vasudeva Varma
- Abstract要約: アーキテクチャ知識管理(AKM)の本質的な成果は、アーキテクチャ決定記録(ADR)である。
彼らの利点にもかかわらず、ADRがソフトウェア開発に採用されるのは、時間的制約や一貫性のない取り込みといった課題のために遅い。
大規模言語モデル(LLM)の最近の進歩は、ADR生成を容易にすることで、この採用ギャップを埋めるのに役立つかもしれない。
- 参考スコア(独自算出の注目度): 10.051928501109
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Architectural Knowledge Management (AKM) involves the organized handling of
information related to architectural decisions and design within a project or
organization. An essential artifact of AKM is the Architecture Decision Records
(ADR), which documents key design decisions. ADRs are documents that capture
decision context, decision made and various aspects related to a design
decision, thereby promoting transparency, collaboration, and understanding.
Despite their benefits, ADR adoption in software development has been slow due
to challenges like time constraints and inconsistent uptake. Recent
advancements in Large Language Models (LLMs) may help bridge this adoption gap
by facilitating ADR generation. However, the effectiveness of LLM for ADR
generation or understanding is something that has not been explored. To this
end, in this work, we perform an exploratory study that aims to investigate the
feasibility of using LLM for the generation of ADRs given the decision context.
In our exploratory study, we utilize GPT and T5-based models with 0-shot,
few-shot, and fine-tuning approaches to generate the Decision of an ADR given
its Context. Our results indicate that in a 0-shot setting, state-of-the-art
models such as GPT-4 generate relevant and accurate Design Decisions, although
they fall short of human-level performance. Additionally, we observe that more
cost-effective models like GPT-3.5 can achieve similar outcomes in a few-shot
setting, and smaller models such as Flan-T5 can yield comparable results after
fine-tuning. To conclude, this exploratory study suggests that LLM can generate
Design Decisions, but further research is required to attain human-level
generation and establish standardized widespread adoption.
- Abstract(参考訳): アーキテクチャ知識管理 (Architectural Knowledge Management, AKM) は、プロジェクトや組織内でのアーキテクチャ上の決定や設計に関連する情報の組織的な処理である。
AKMの重要なアーティファクトはアーキテクチャ決定レコード(ADR)であり、重要な設計決定を文書化している。
adrは、意思決定コンテキスト、意思決定、設計決定に関連するさまざまな側面を捉え、透明性、コラボレーション、理解を促進する文書である。
彼らの利点にもかかわらず、ADRによるソフトウェア開発の採用は、時間的制約や一貫性のない取り込みといった課題のために遅い。
大規模言語モデル(LLM)の最近の進歩は、ADR生成を容易にすることで、この採用ギャップを埋めるのに役立つかもしれない。
しかし, ADR 生成や理解における LLM の有効性は検討されていない。
この目的を達成するために,本研究では,意思決定コンテキストを考慮したALMを用いたADR生成の可能性を検討するための探索的研究を行う。
探索的研究では,0ショット,少数ショット,微調整によるGPTモデルとT5モデルを用いて,その文脈からADRの意思決定を生成する。
以上の結果から,GPT-4のような最先端のモデルでは,人間レベルの性能に欠けるが,関連性があり正確な設計決定が生成されることが示唆された。
さらに、GPT-3.5のようなよりコスト効率の良いモデルでは、数ショット設定で同様の結果が得られ、Flan-T5のような小さなモデルでは、微調整後に同等の結果が得られる。
結論として、この探索的研究は、LCMが設計決定を生成できることを示しているが、人間レベルの生成を達成し、標準化された普及を確立するためにはさらなる研究が必要である。
関連論文リスト
- CAUS: A Dataset for Question Generation based on Human Cognition Leveraging Large Language Models [4.962252439662465]
本稿では,大規模言語モデル,特に GPT-4 を用いて,不確実性を解決するための認知過程をエミュレートするためのCAUSデータセットを提案する。
我々のアプローチは、推論とクエリの生成を刺激するために、不確実性に埋め込まれたシーン記述を提供することである。
以上の結果から, GPT-4は, 適切な文脈や指示が与えられた場合に, 適切な質問を効果的に生成し, そのニュアンスを把握できることが示唆された。
論文 参考訳(メタデータ) (2024-04-18T01:31:19Z) - DeLLMa: A Framework for Decision Making Under Uncertainty with Large
Language Models [34.71443803031482]
大規模言語モデル(LLM)は、ビジネス、エンジニアリング、医療といった分野を含む、社会全体でますます使われている。
本研究では,不確実な環境における意思決定精度を高めるためのフレームワークであるDeLLMaを提案する。
以上の結果から,DeLLMaはLLM判定性能を大幅に向上し,競合手法よりも40%の精度向上が達成できることがわかった。
論文 参考訳(メタデータ) (2024-02-04T08:11:45Z) - Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。
論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2024-02-01T15:18:33Z) - GPT in Data Science: A Practical Exploration of Model Selection [0.7646713951724013]
この研究は、AI意思決定プロセスの理解を深めることにコミットしています。
我々の取り組みは、より透明で理解しやすいAIシステムの構築に向けられている。
論文 参考訳(メタデータ) (2023-11-20T03:42:24Z) - The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。
LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。
自己補充ベースラインよりも+5ポイントの性能向上を達成する。
論文 参考訳(メタデータ) (2023-11-14T07:26:32Z) - Make Your Decision Convincing! A Unified Two-Stage Framework:
Self-Attribution and Decision-Making [24.906886146275127]
自己貢献・意思決定(SADM)として知られる統合された2段階の枠組みを提案する。
我々のフレームワークは、生成した合理性とモデル決定とのより信頼性の高いリンクを確立するだけでなく、タスク性能と合理性の品質の競争結果も達成している。
論文 参考訳(メタデータ) (2023-10-20T15:59:57Z) - Mastering the Task of Open Information Extraction with Large Language
Models and Consistent Reasoning Environment [52.592199835286394]
オープン情報抽出(OIE)は、自然文から客観的な構造化された知識を抽出することを目的としている。
大規模言語モデル(LLM)は、テキスト内学習能力に優れています。
論文 参考訳(メタデータ) (2023-10-16T17:11:42Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。
本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。
ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
論文 参考訳(メタデータ) (2023-08-24T03:11:45Z) - Scaling Evidence-based Instructional Design Expertise through Large
Language Models [0.0]
本稿では,大規模言語モデル(LLM),特にGPT-4を教育設計の分野で活用することを検討する。
本研究は,エビデンスに基づく教育設計の専門知識のスケールアップに着目し,理論教育学と実践実践のギャップを埋めることを目的としている。
我々は,AIによるコンテンツ生成のメリットと限界について論じ,教育資料の品質確保に人的監督が必要であることを強調した。
論文 参考訳(メタデータ) (2023-05-31T17:54:07Z) - LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities [68.86209486449924]
知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。
我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
論文 参考訳(メタデータ) (2023-05-22T15:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。