論文の概要: SoTaNa: The Open-Source Software Development Assistant
- arxiv url: http://arxiv.org/abs/2308.13416v1
- Date: Fri, 25 Aug 2023 14:56:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 13:29:47.902875
- Title: SoTaNa: The Open-Source Software Development Assistant
- Title（参考訳）: sotana: オープンソースのソフトウェア開発アシスタント
- Authors: Ensheng Shi, Fengji Zhang, Yanlin Wang, Bei Chen, Lun Du, Hongyu
Zhang, Shi Han, Dongmei Zhang, Hongbin Sun
- Abstract要約: SoTaNaはオープンソースのソフトウェア開発アシスタントだ。
ソフトウェア工学の分野のための高品質な命令ベースのデータを生成する。
オープンソースの基盤モデルであるLLaMAを強化するためにパラメータ効率のよい微調整アプローチを採用している。
- 参考スコア（独自算出の注目度）: 81.86136560157266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software development plays a crucial role in driving innovation and
efficiency across modern societies. To meet the demands of this dynamic field,
there is a growing need for an effective software development assistant.
However, existing large language models represented by ChatGPT suffer from
limited accessibility, including training data and model weights. Although
other large open-source models like LLaMA have shown promise, they still
struggle with understanding human intent. In this paper, we present SoTaNa, an
open-source software development assistant. SoTaNa utilizes ChatGPT to generate
high-quality instruction-based data for the domain of software engineering and
employs a parameter-efficient fine-tuning approach to enhance the open-source
foundation model, LLaMA. We evaluate the effectiveness of \our{} in answering
Stack Overflow questions and demonstrate its capabilities. Additionally, we
discuss its capabilities in code summarization and generation, as well as the
impact of varying the volume of generated data on model performance. Notably,
SoTaNa can run on a single GPU, making it accessible to a broader range of
researchers. Our code, model weights, and data are public at
\url{https://github.com/DeepSoftwareAnalytics/SoTaNa}.
- Abstract（参考訳）: ソフトウェア開発は、現代社会におけるイノベーションと効率性を促進する上で重要な役割を担います。
このダイナミックな分野の要求を満たすために、効果的なソフトウェア開発アシスタントの必要性が高まっている。
しかし、ChatGPTで表される既存の大規模言語モデルは、トレーニングデータやモデルの重みを含む限られたアクセシビリティに悩まされている。
LLaMAのような他の大規模なオープンソースモデルは有望だが、それでも人間の意図を理解するのに苦労している。
本稿では,オープンソースのソフトウェア開発アシスタントSoTaNaを紹介する。
SoTaNaはChatGPTを使用して、ソフトウェアエンジニアリングの領域における高品質な命令ベースのデータを生成し、パラメータ効率の良い微調整手法を用いて、オープンソースの基盤モデルであるLLaMAを強化する。
Stack Overflow質問に対する \our{} の有効性を評価し,その能力を実証する。
さらに、コード要約と生成におけるその能力と、生成されたデータ量の変化がモデルの性能に与える影響についても論じる。
SoTaNaは単一のGPU上で動かせるので、幅広い研究者が利用できる。
私たちのコード、モデルウェイト、データは、 \url{https://github.com/DeepSoftwareAnalytics/SoTaNa}で公開されています。
関連論文リスト
- Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。
本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文 参考訳（メタデータ） (2024-10-22T06:43:28Z) - In-Context Code-Text Learning for Bimodal Software Engineering [26.0027882745058]
バイモーダルなソフトウェア分析は、大きな言語モデルの出現とともに、当初は手の届くところにあるように見えた。
コードテキストのバイモーダル性に対するコンテキスト内学習は有望な道であると仮定する。
我々は、23のソフトウェアエンジニアリングタスクを含む多様なデータセットを考察し、コンテキスト内学習フォーマットで変換する。
論文 参考訳（メタデータ） (2024-10-08T19:42:00Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - LAMBDA: A Large Model Based Data Agent [7.240586338370509]
本稿では,LArge Model Based Data Agent (LAMBDA)を紹介する。
LAMBDAは、複雑なデータ駆動アプリケーションにおけるデータ分析の課題に対処するように設計されている。
それは、人間と人工知能をシームレスに統合することで、データ分析パラダイムを強化する可能性がある。
論文 参考訳（メタデータ） (2024-07-24T06:26:36Z) - Large Language Model for Verilog Generation with Golden Code Feedback [29.135207235743795]
本研究は,ゴールドコードフィードバックを用いた強化学習を利用して,事前学習モデルの性能を向上させる手法を提案する。
我々は、最先端のSOTA(State-of-the-art)の結果をかなりの差で達成した。特に、我々の6.7Bパラメータモデルは、現行の13Bモデルと16Bモデルと比較して優れた性能を示している。
論文 参考訳（メタデータ） (2024-07-21T11:25:21Z) - TechGPT-2.0: A large language model project to solve the task of
knowledge graph construction [31.638140593358433]
TechGPT-2.0は知識グラフ構築タスクにおける大規模言語モデルの能力を高めるために設計されたプロジェクトである。
特に医学や法律の分野において、堅牢なテキスト処理能力を示す。
TechGPT-2.0はHuaweiのAscendサーバでトレーニングされている。
論文 参考訳（メタデータ） (2024-01-09T11:52:58Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳（メタデータ） (2023-07-10T11:29:41Z) - Source Code Data Augmentation for Deep Learning: A Survey [32.035973285175075]
ソースコードに対するデータ拡張に関する包括的調査を行う。
DAの品質を最適化するための一般的な戦略とテクニックを強調します。
今後の研究の課題と可能性について概説する。
論文 参考訳（メタデータ） (2023-05-31T14:47:44Z) - Enhancing Chat Language Models by Scaling High-quality Instructional
Conversations [91.98516412612739]
まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。
我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。
我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
論文 参考訳（メタデータ） (2023-05-23T16:49:14Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳（メタデータ） (2020-09-04T15:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。