論文の概要: Safurai-Csharp: Harnessing Synthetic Data to improve language-specific Code LLM

• arxiv url: http://arxiv.org/abs/2311.03243v1
• Date: Mon, 6 Nov 2023 16:31:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 13:34:12.801833
• Title: Safurai-Csharp: Harnessing Synthetic Data to improve language-specific Code LLM
• Title（参考訳）: Safurai-Csharp: 言語固有のコードLLMを改善するための合成データのハーネス化
• Authors: Davide Cifarelli, Leonardo Boiardi, Alessandro Puppo, Leon Jovanovic
• Abstract要約: Safurai-CsharpはC#コードの生成、完了、デバッグに特化したオープンソースモデルである。 これは、新しいCodeLlama 34Bモデルに基づいて構築され、EvolInstructの技術を活用し、その微調整プロセスのために洗練され拡張されたデータセットを作成する。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper introduces Safurai-Csharp, an open-source model designed to specialize in the generation, completion, and debugging of C# code. Safurai-Csharp is built upon the novel CodeLlama 34B model and leverages the EvolInstruct technique, creating a refined and expanded dataset for its fine-tuning process. The results of its performance, a notable score of 56.33% on the Manual MultiPL-E benchmark (Zero-Shot, Pass@1), signal its high capacity to streamline developers' workflows and aid code learning. It shows promise in setting new stakes in the landscape of open-source C# LLMs and hopes to inspire more inclusive and wide-ranging development in the field of language-specific LLMs.
• Abstract（参考訳）: 本稿では,C#コードの生成,補完,デバッグを専門とするオープンソースモデルであるSafurai-Csharpを紹介する。 Safurai-Csharpは、新しいCodeLlama 34Bモデルに基づいて構築され、EvolInstructの技術を活用して、微調整プロセスのための洗練された拡張データセットを生成する。 パフォーマンスは、Manual MultiPL-Eベンチマーク(Zero-Shot, Pass@1)で56.33%の顕著なスコアで、開発者のワークフローの合理化とコード学習を支援するための高い能力を示している。 これは、オープンソースのC# LLMのランドスケープに新たなステークホルダーを設定することを約束しており、言語固有のLLMの分野でより包括的で広範な開発を刺激したいと考えている。

関連論文リスト

• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Training LLMs for Generating IEC 61131-3 Structured Text with Online Feedback [0.0]
  本稿では,学習データの品質向上を重視した大規模言語モデル(LLM)の学習手法を提案する。 このフレームワークは、産業自動化アプリケーションに非常に適しており、最先端のモデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-29T15:54:09Z)
• Sketch: A Toolkit for Streamlining LLM Operations [51.33202045501429]
  大規模言語モデル(LLM)は大きな成功を収めた。 アウトプットフォーマットの柔軟性は、モデルのアウトプットを制御および活用する上での課題を引き起こします。 スケッチ(Sketch)は、多種多様な分野にわたるLCM操作を合理化するための革新的なツールキットである。
  論文  参考訳（メタデータ） (2024-09-05T08:45:44Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• NeSy is alive and well: A LLM-driven symbolic approach for better code comment data generation and classification [0.0]
  我々は,C言語におけるコードコメント分類のための合成データを生成するために,記号ベース学習技術と大言語モデル(LLM)エージェントを組み合わせたニューラルシンボリック(NeSy)ワークフローを提案する。 我々の最良のモデルであるニューラルネットワークは、データ拡張後の1.033%の増加でマクロF1スコアが91.412%に達する。
  論文  参考訳（メタデータ） (2024-02-25T13:20:13Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• PanGu-Coder2: Boosting Large Language Models for Code with Ranking Feedback [5.459517921633247]
  本稿では,コード生成のための事前学習された大規模言語モデルを効果的かつ効率的に向上するRRTF(Rank Responses toaligned Test&Teacher Feedback)フレームワークを提案する。 このフレームワークでは、OpenAI HumanEvalベンチマークで62.20%パス@1を達成したPanGu-Coder2を紹介します。
  論文  参考訳（メタデータ） (2023-07-27T15:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。