論文の概要: LLMs for Generation of Architectural Components: An Exploratory Empirical Study in the Serverless World
- arxiv url: http://arxiv.org/abs/2502.02539v1
- Date: Tue, 04 Feb 2025 18:06:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:02:30.028992
- Title: LLMs for Generation of Architectural Components: An Exploratory Empirical Study in the Serverless World
- Title（参考訳）: LLMs for Generation of Architectural Components: An Exploratory Empirical Study in the Serverless World
- Authors: Shrikara Arun, Meghana Tedla, Karthik Vaidhyanathan,
- Abstract要約: 本稿では,関数・アズ・ア・サービス(F)のためのアーキテクチャコンポーネントを生成するための大規模言語モデルの有用性について検討する。
アーキテクチャコンポーネントの小さなサイズは、このアーキテクチャスタイルを現在のLLMを使って生成可能にする。
我々は、リポジトリに存在する既存のテストを通じて正確性を評価し、ソフトウェア工学(SE)と自然言語処理(NLP)ドメインのメトリクスを使用する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Recently, the exponential growth in capability and pervasiveness of Large Language Models (LLMs) has led to significant work done in the field of code generation. However, this generation has been limited to code snippets. Going one step further, our desideratum is to automatically generate architectural components. This would not only speed up development time, but would also enable us to eventually completely skip the development phase, moving directly from design decisions to deployment. To this end, we conduct an exploratory study on the capability of LLMs to generate architectural components for Functions as a Service (FaaS), commonly known as serverless functions. The small size of their architectural components make this architectural style amenable for generation using current LLMs compared to other styles like monoliths and microservices. We perform the study by systematically selecting open source serverless repositories, masking a serverless function and utilizing state of the art LLMs provided with varying levels of context information about the overall system to generate the masked function. We evaluate correctness through existing tests present in the repositories and use metrics from the Software Engineering (SE) and Natural Language Processing (NLP) domains to evaluate code quality and the degree of similarity between human and LLM generated code respectively. Along with our findings, we also present a discussion on the path forward for using GenAI in architectural component generation.
- Abstract（参考訳）: 近年、LLM(Large Language Models)の能力と普及度が指数関数的に向上し、コード生成の分野で大きな成果を上げている。
しかし、この世代はコードスニペットに限られている。
さらに一歩進んだのは、アーキテクチャコンポーネントを自動的に生成することです。
これは開発時間を短縮するだけでなく、最終的には開発フェーズを完全にスキップして、設計上の決定からデプロイメントへの直接移行を可能にします。
この目的のために、サーバーレス関数として知られるFaaS(Function as a Service)のアーキテクチャコンポーネントを生成するLLMの能力に関する探索的研究を行う。
アーキテクチャコンポーネントの小さなサイズは、このアーキテクチャスタイルを、モノリスやマイクロサービスのような他のスタイルと比較して、現在のLLMを使用して生成可能にする。
我々は、オープンソースのサーバーレスリポジトリを体系的に選択し、サーバーレス機能をマスキングし、システム全体に関するさまざまなレベルのコンテキスト情報を提供して、マスキング関数を生成する。
我々は,レポジトリに存在する既存のテストを通じて正確性を評価し,ソフトウェア工学(SE)と自然言語処理(NLP)ドメインのメトリクスを用いて,コード品質とLLM生成コードの類似度をそれぞれ評価する。
また, アーキテクチャコンポーネント生成におけるGenAIの活用への道筋についても検討した。
関連論文リスト
- SnipGen: A Mining Repository Framework for Evaluating LLMs for Code [51.07471575337676]
言語モデル(LLM)は、コードリポジトリを含む広範なデータセットに基づいてトレーニングされる。
それらの有効性を評価することは、トレーニングに使用されるデータセットと評価に使用されるデータセットとが重複する可能性があるため、大きな課題となる。
SnipGenは、コード生成のために、様々な下流タスクをまたいだ迅速なエンジニアリングを活用するように設計された包括的なリポジトリマイニングフレームワークである。
論文 参考訳（メタデータ） (2025-02-10T21:28:15Z) - HiVeGen -- Hierarchical LLM-based Verilog Generation for Scalable Chip Design [55.54477725000291]
HiVeGenは階層的なVerilog生成フレームワークで、生成タスクを階層的なサブモジュールに分解する。
自動設計空間探索(DSE)を階層対応のプロンプト生成に変換し、コードの再利用を強化するために重みに基づく検索を導入する。
エラー補正コストを低減し、生成した設計の質を大幅に向上させる。
論文 参考訳（メタデータ） (2024-12-06T19:37:53Z) - Specifications: The missing link to making the development of LLM systems an engineering discipline [65.10077876035417]
我々は、構造化出力、プロセスの監督、テストタイム計算など、これまでの分野の進歩について論じる。
モジュール型かつ信頼性の高いLCMシステムの開発に向けた研究の今後の方向性について概説する。
論文 参考訳（メタデータ） (2024-11-25T07:48:31Z) - The Compressor-Retriever Architecture for Language Model OS [20.56093501980724]
オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを用いるという概念について検討する。
このようなLM OSを実現する上で重要な課題は、寿命の長いコンテキストを管理し、セッション間のステートフルネスを確保することだ。
本稿では,生涯のコンテキスト管理のために設計されたモデル非依存アーキテクチャであるコンプレッサー・レトリバーを紹介する。
論文 参考訳（メタデータ） (2024-09-02T23:28:15Z) - Class-Level Code Generation from Natural Language Using Iterative, Tool-Enhanced Reasoning over Repository [4.767858874370881]
実世界のリポジトリ内でクラスレベルのコードを生成する際に,LLMを厳格に評価するためのベンチマークであるRepoClassBenchを紹介する。
RepoClassBenchには、リポジトリの選択からJava、Python、C#にまたがる"Natural Language to Class Generation"タスクが含まれている。
Retrieve-Repotools-Reflect (RRR)は,レポジトリレベルのコンテキストを反復的にナビゲートし,推論する静的解析ツールを備えた新しいアプローチである。
論文 参考訳（メタデータ） (2024-04-22T03:52:54Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - Advancing Transformer Architecture in Long-Context Large Language
Models: A Comprehensive Survey [18.930417261395906]
トランスフォーマーベースの大規模言語モデル(LLM)は、知識ベース、ヒューマンインタフェース、動的エージェントなど様々な分野に適用されている。
本稿では,トランスフォーマーをベースとしたLLMアーキテクチャの最近の進歩について,LLMの長期的コンテキスト能力の向上を目的とした調査を行う。
論文 参考訳（メタデータ） (2023-11-21T04:59:17Z) - Evaluating In-Context Learning of Libraries for Code Generation [35.57902679044737]
大規模言語モデル(LLM)は高いレベルのコード生成と理解能力を示す。
近年の研究では、大規模プロプライエタリなLLMがデモから新しいライブラリの使用法を学習できることが示されている。
論文 参考訳（メタデータ） (2023-11-16T07:37:25Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳（メタデータ） (2023-09-29T17:40:26Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳（メタデータ） (2023-05-31T05:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。