論文の概要: Enhancing the Accuracy and Comprehensibility in Architectural Tactics Detection via Small Model-Augmented Prompt Engineering

• arxiv url: http://arxiv.org/abs/2503.03609v1
• Date: Wed, 05 Mar 2025 15:47:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:12.857001
• Title: Enhancing the Accuracy and Comprehensibility in Architectural Tactics Detection via Small Model-Augmented Prompt Engineering
• Title（参考訳）: 小型モデル付加型プロンプト工学による建築戦術検出の精度と理解度向上
• Authors: Lingli Cao, He Zhang, Shanshan Li, Danyang Li, Yanjing Yang, Chenxing Zhong, Xin Zhou, Yue Xie,
• Abstract要約: アーキテクチャ戦略(AT)は、ソフトウェアシステムの非機能要件に対処する。 我々は,ATs検出の精度と理解性を高めるため,小型モデル拡張プロンプトフレームワークであるPrmt4TDを提案する。 Prmt4TDは,ATsバランスデータセットの精度(emphF1スコア)が13%-23%向上したことを示す。
• 参考スコア（独自算出の注目度）: 12.554418096667856
• License:
• Abstract: Architectural tactics (ATs), as the concrete implementation of architectural decisions in code, address non-functional requirements of software systems. Due to the implicit nature of architectural knowledge in code implementation, developers may risk inadvertently altering or removing these tactics during code modifications or optimizations. Such unintended changes can trigger architectural erosion, gradually undermining the system's original design. While many researchers have proposed machine learning-based methods to improve the accuracy of detecting ATs in code, the black-box nature and the required architectural domain knowledge pose significant challenges for developers in verifying the results. Effective verification requires not only accurate detection results but also interpretable explanations that enhance their comprehensibility. However, this is a critical gap in current research. Large language models (LLMs) can generate easily interpretable ATs detection comments if they have domain knowledge. Fine-tuning LLMs to acquire domain knowledge faces challenges such as catastrophic forgetting and hardware constraints. Thus, we propose Prmt4TD, a small model-augmented prompting framework to enhance the accuracy and comprehensibility of ATs detection. Combining fine-tuned small models with In-Context Learning can also reduce fine-tuning costs while equipping the LLM with additional domain knowledge. Prmt4TD can leverage the remarkable processing and reasoning capabilities of LLMs to generate easily interpretable ATs detection results. Our evaluation results demonstrate that Prmt4TD achieves accuracy (\emph{F1-score}) improvement of 13\%-23\% on the ATs balanced dataset and enhances the comprehensibility of the detection results.
• Abstract（参考訳）: コードにおけるアーキテクチャ決定の具体的な実装としてのアーキテクチャ戦略(AT)は、ソフトウェアシステムの非機能要件に対処する。 コード実装におけるアーキテクチャ知識の暗黙的な性質のため、開発者はコード修正や最適化の間、故意にこれらの戦術を変更したり削除したりするリスクがある。 このような意図しない変更は、アーキテクチャの侵食を引き起こし、徐々にシステムのオリジナルの設計を損なう。 多くの研究者がコード中のATを検出する精度を改善するための機械学習ベースの手法を提案しているが、ブラックボックスの性質と必要なアーキテクチャ領域の知識は、開発者が結果を検証する上で大きな課題をもたらしている。 有効な検証には、正確な検出結果だけでなく、その理解性を高める解釈可能な説明が必要である。 しかし、これは現在の研究において重要なギャップである。 大規模言語モデル(LLM)は、ドメイン知識があれば容易に解釈可能なAT検出コメントを生成することができる。 ドメイン知識を取得するための微調整LDMは、破滅的な忘れ物やハードウェア制約といった課題に直面します。 そこで本研究では,ATs検出の精度と理解性を高めるため,小型モデル拡張プロンプトフレームワークであるPrmt4TDを提案する。 微調整された小さなモデルとIn-Context Learningを組み合わせることで、LLMに追加のドメイン知識を持たせながら微調整のコストを削減できる。 Prmt4TDは、LLMの顕著な処理と推論機能を利用して、容易に解釈可能なAT検出結果を生成する。 評価の結果,Prmt4TDは,ATsバランスデータセット上で13\%-23\%の精度(\emph{F1-score})向上を実現し,検出結果の理解性を高めた。

関連論文リスト

• Architectural Flaw Detection in Civil Engineering Using GPT-4 [0.8463972278020965]
  本稿では,LLM GPT4ターボビジョンモデルによる設計段階におけるアーキテクチャ欠陥の検出の可能性について検討する。 本研究は,精度,リコール,F1スコアなどの指標を用いて,モデルの性能を評価する。 この調査結果は、AIが設計精度を大幅に改善し、コストのかかるリビジョンを削減し、持続可能なプラクティスをサポートする方法を強調している。
  論文  参考訳（メタデータ） (2024-10-26T01:10:04Z)
• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
  本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。 我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-29T10:00:57Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• Towards Explainable Vulnerability Detection with Large Language Models [17.96542494363619]
  ソフトウェア脆弱性は、ソフトウェアシステムのセキュリティと整合性に重大なリスクをもたらす。 大規模言語モデル(LLMs)の出現は、その高度な生成能力による変換ポテンシャルを導入している。 本稿では,脆弱性検出と説明という2つのタスクにLLMを専門化する自動フレームワークであるLLMVulExpを提案する。
  論文  参考訳（メタデータ） (2024-06-14T04:01:25Z)
• M2CVD: Enhancing Vulnerability Semantic through Multi-Model Collaboration for Code Vulnerability Detection [52.4455893010468]
  大規模言語モデル(LLM)は、コード理解において強力な能力を持つが、微調整コストとセマンティックアライメントの問題により、プロジェクト固有の最適化が制限される。 CodeBERTのようなコードモデルは微調整が容易であるが、複雑なコード言語から脆弱性のセマンティクスを学ぶことはしばしば困難である。 本稿では,M2CVD(Multi-Model Collaborative Vulnerability Detection)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T00:05:49Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• To Err is Machine: Vulnerability Detection Challenges LLM Reasoning [8.602355712876815]
  脆弱性検出という,困難なコード推論タスクを提示する。 最新のSOTA(State-of-the-art)モデルでは,脆弱性検出評価では54.5%のバランスド精度しか報告されていない。 脆弱性検出を克服するためには、新しいモデル、新しいトレーニング方法、あるいはもっと実行固有の事前トレーニングデータが必要になるかもしれない。
  論文  参考訳（メタデータ） (2024-03-25T21:47:36Z)
• A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。 また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。 この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-02-03T04:45:25Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。