論文の概要: DRAFT-ing Architectural Design Decisions using LLMs

• arxiv url: http://arxiv.org/abs/2504.08207v1
• Date: Fri, 11 Apr 2025 02:19:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:35.504805
• Title: DRAFT-ing Architectural Design Decisions using LLMs
• Title（参考訳）: LLMを用いたDRAFT-ingアーキテクチャ設計決定
• Authors: Rudra Dhar, Adyansh Kakran, Amey Karan, Karthik Vaidhyanathan, Vasudeva Varma,
• Abstract要約: DRAFT(Domain Specific Retreival Augumented Few Shot Fine Tuninng)は、アーキテクチャ設計決定(ADD)の草案作成ツールである。 ADDを生成するための、少数のショット、検索強化された生成と微調整のアプローチの長所を組み合わせたものだ。 DRAFTは,プライバシやリソースの制約に対処しながら,ADDの起草に役立てることができることが示唆された。
• 参考スコア（独自算出の注目度）: 7.631177373258237
• License:
• Abstract: Architectural Knowledge Management (AKM) is crucial for software development but remains challenging due to the lack of standardization and high manual effort. Architecture Decision Records (ADRs) provide a structured approach to capture Architecture Design Decisions (ADDs), but their adoption is limited due to the manual effort involved and insufficient tool support. Our previous work has shown that Large Language Models (LLMs) can assist in generating ADDs. However, simply prompting the LLM does not produce quality ADDs. Moreover, using third-party LLMs raises privacy concerns, while self-hosting them poses resource challenges. To this end, we experimented with different approaches like few-shot, retrieval-augmented generation (RAG) and fine-tuning to enhance LLM's ability to generate ADDs. Our results show that both techniques improve effectiveness. Building on this, we propose Domain Specific Retreival Augumented Few Shot Fine Tuninng, DRAFT, which combines the strengths of all these three approaches for more effective ADD generation. DRAFT operates in two phases: an offline phase that fine-tunes an LLM on generating ADDs augmented with retrieved examples and an online phase that generates ADDs by leveraging retrieved ADRs and the fine-tuned model. We evaluated DRAFT against existing approaches on a dataset of 4,911 ADRs and various LLMs and analyzed them using automated metrics and human evaluations. Results show DRAFT outperforms all other approaches in effectiveness while maintaining efficiency. Our findings indicate that DRAFT can aid architects in drafting ADDs while addressing privacy and resource constraints.
• Abstract（参考訳）: アーキテクチャ知識管理(AKM)はソフトウェア開発には不可欠だが、標準化や高い手作業の欠如のため、依然として難しい。 アーキテクチャ決定レコード(ADR)は、アーキテクチャ設計決定(ADD)をキャプチャするための構造化されたアプローチを提供するが、その採用は手作業と不十分なツールサポートのために限られている。 我々の以前の研究は、LLM(Large Language Models)がADDの生成を補助できることを示しました。 しかし、単にLSMを刺激しても、高品質なADDは得られない。 さらに、サードパーティのLLMを使用することでプライバシの懸念が高まり、セルフホスティングはリソースの課題を引き起こす。 この目的のために,少ショット,検索強化生成(RAG),微調整などの異なる手法を用いて,ALDの生成能力を向上させる実験を行った。 以上の結果から,両手法が有効性を向上させることが示唆された。 そこで本研究では,これらの3つのアプローチの長所を組み合わせ,より効果的なADD生成を実現するためのドメイン固有再帰型Few Shot Fine Tuninng(DRAFT)を提案する。 DRAFTは、検索された例で強化されたADDを生成するためにLDMを微調整するオフラインフェーズと、検索されたADRと微調整されたモデルを活用することでADDを生成するオンラインフェーズの2つのフェーズで動作する。 DRAFTを4,911個のADRと各種LLMのデータセットを用いて既存のアプローチと比較し,自動測定と人的評価を用いて解析した。 その結果、DRAFTは効率を保ちながら、他の全てのアプローチよりも有効性が高いことがわかった。 DRAFTは,プライバシやリソースの制約に対処しながら,ADDの起草に役立てることができることが示唆された。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• AD-LLM: Benchmarking Large Language Models for Anomaly Detection [50.57641458208208]
  本稿では,大規模な言語モデルが異常検出にどのように役立つかを評価する最初のベンチマークであるAD-LLMを紹介する。 我々は、ゼロショット検出、LLMの事前訓練された知識を用いて、タスク固有のトレーニングなしでADを実行すること、データ拡張、ADモデルを改善するために合成データとカテゴリ記述を生成すること、LLMを使用して教師なしADモデルを提案するモデル選択の3つの主要なタスクについて検討する。
  論文  参考訳（メタデータ） (2024-12-15T10:22:14Z)
• The Role of Deductive and Inductive Reasoning in Large Language Models [37.430396755248104]
  本稿では,大規模言語モデル(LLM)推論を強化するために,DID法を提案する。 DIDはリトルストーン次元と情報エントロピーを組み合わせた2次元複雑度評価システムを実装している。 その結果,推理精度と解の精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-03T18:30:47Z)
• Dataset Distillation from First Principles: Integrating Core Information Extraction and Purposeful Learning [10.116674195405126]
  我々は、基礎となる最適化問題の正確な特徴付けは、関心の応用に関連する推論タスクを指定しなければならないと論じる。 我々の形式化は、様々なモデリング環境にまたがるDDの新たな応用を明らかにします。 現代の環境において重要な2つのケーススタディについて数値的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-02T18:11:15Z)
• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Can LLMs Generate Architectural Design Decisions? -An Exploratory Empirical study [10.051928501109]
  アーキテクチャ知識管理(AKM)の本質的な成果は、アーキテクチャ決定記録(ADR)である。 彼らの利点にもかかわらず、ADRがソフトウェア開発に採用されるのは、時間的制約や一貫性のない取り込みといった課題のために遅い。 大規模言語モデル(LLM)の最近の進歩は、ADR生成を容易にすることで、この採用ギャップを埋めるのに役立つかもしれない。
  論文  参考訳（メタデータ） (2024-03-04T03:56:14Z)
• LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition [67.96794382040547]
  $LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。 提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
  論文  参考訳（メタデータ） (2024-02-22T14:19:56Z)
• AART: AI-Assisted Red-Teaming with Diverse Data Generation for New LLM-powered Applications [5.465142671132731]
  大規模言語モデル(LLM)のアドバイザリテストは、安全で責任のあるデプロイメントに不可欠である。 本稿では,新しい下流アプリケーション上でのLCM生成の安全性をテストするために,逆評価データセットの自動生成のための新しいアプローチを提案する。 AI支援のレッドチーム(AART)と呼ばれています。
  論文  参考訳（メタデータ） (2023-11-14T23:28:23Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。