論文の概要: SoTaNa: The Open-Source Software Development Assistant
- arxiv url: http://arxiv.org/abs/2308.13416v1
- Date: Fri, 25 Aug 2023 14:56:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 13:29:47.902875
- Title: SoTaNa: The Open-Source Software Development Assistant
- Title(参考訳): sotana: オープンソースのソフトウェア開発アシスタント
- Authors: Ensheng Shi, Fengji Zhang, Yanlin Wang, Bei Chen, Lun Du, Hongyu
Zhang, Shi Han, Dongmei Zhang, Hongbin Sun
- Abstract要約: SoTaNaはオープンソースのソフトウェア開発アシスタントだ。
ソフトウェア工学の分野のための高品質な命令ベースのデータを生成する。
オープンソースの基盤モデルであるLLaMAを強化するためにパラメータ効率のよい微調整アプローチを採用している。
- 参考スコア(独自算出の注目度): 81.86136560157266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software development plays a crucial role in driving innovation and
efficiency across modern societies. To meet the demands of this dynamic field,
there is a growing need for an effective software development assistant.
However, existing large language models represented by ChatGPT suffer from
limited accessibility, including training data and model weights. Although
other large open-source models like LLaMA have shown promise, they still
struggle with understanding human intent. In this paper, we present SoTaNa, an
open-source software development assistant. SoTaNa utilizes ChatGPT to generate
high-quality instruction-based data for the domain of software engineering and
employs a parameter-efficient fine-tuning approach to enhance the open-source
foundation model, LLaMA. We evaluate the effectiveness of \our{} in answering
Stack Overflow questions and demonstrate its capabilities. Additionally, we
discuss its capabilities in code summarization and generation, as well as the
impact of varying the volume of generated data on model performance. Notably,
SoTaNa can run on a single GPU, making it accessible to a broader range of
researchers. Our code, model weights, and data are public at
\url{https://github.com/DeepSoftwareAnalytics/SoTaNa}.
- Abstract(参考訳): ソフトウェア開発は、現代社会におけるイノベーションと効率性を促進する上で重要な役割を担います。
このダイナミックな分野の要求を満たすために、効果的なソフトウェア開発アシスタントの必要性が高まっている。
しかし、ChatGPTで表される既存の大規模言語モデルは、トレーニングデータやモデルの重みを含む限られたアクセシビリティに悩まされている。
LLaMAのような他の大規模なオープンソースモデルは有望だが、それでも人間の意図を理解するのに苦労している。
本稿では,オープンソースのソフトウェア開発アシスタントSoTaNaを紹介する。
SoTaNaはChatGPTを使用して、ソフトウェアエンジニアリングの領域における高品質な命令ベースのデータを生成し、パラメータ効率の良い微調整手法を用いて、オープンソースの基盤モデルであるLLaMAを強化する。
Stack Overflow質問に対する \our{} の有効性を評価し,その能力を実証する。
さらに、コード要約と生成におけるその能力と、生成されたデータ量の変化がモデルの性能に与える影響についても論じる。
SoTaNaは単一のGPU上で動かせるので、幅広い研究者が利用できる。
私たちのコード、モデルウェイト、データは、 \url{https://github.com/DeepSoftwareAnalytics/SoTaNa}で公開されています。
関連論文リスト
- TechGPT-2.0: A large language model project to solve the task of
knowledge graph construction [31.638140593358433]
TechGPT-2.0は知識グラフ構築タスクにおける大規模言語モデルの能力を高めるために設計されたプロジェクトである。
特に医学や法律の分野において、堅牢なテキスト処理能力を示す。
TechGPT-2.0はHuaweiのAscendサーバでトレーニングされている。
論文 参考訳(メタデータ) (2024-01-09T11:52:58Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - Source Code Data Augmentation for Deep Learning: A Survey [32.035973285175075]
ソースコードに対するデータ拡張に関する包括的調査を行う。
DAの品質を最適化するための一般的な戦略とテクニックを強調します。
今後の研究の課題と可能性について概説する。
論文 参考訳(メタデータ) (2023-05-31T14:47:44Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - Enhancing Chat Language Models by Scaling High-quality Instructional
Conversations [91.98516412612739]
まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。
我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。
我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
論文 参考訳(メタデータ) (2023-05-23T16:49:14Z) - The Tensor Data Platform: Towards an AI-centric Database System [6.519203713828565]
AIでも同じことをする時が来た、と私たちは主張します -- しかし、ツイストで!
真のAI中心のデータベースを実現するには、エンジンをリレーショナルからテンソル抽象化に移行する必要がある、と私たちは主張しています。
これにより,(1)画像,ビデオ,音声,テキスト,リレーショナルなどのマルチモーダルデータ処理,(2)HWにおけるイノベーションの豊かさ,(3)自動微分を利用してタスクを実行する「訓練可能な」クエリの新たなクラスを実現する。
論文 参考訳(メタデータ) (2022-11-04T21:26:16Z) - Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data
Programming [77.38174112525168]
私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
論文 参考訳(メタデータ) (2022-03-02T19:57:32Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳(メタデータ) (2020-09-04T15:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。