論文の概要: SelfCodeAlign: Self-Alignment for Code Generation
- arxiv url: http://arxiv.org/abs/2410.24198v1
- Date: Thu, 31 Oct 2024 17:55:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:03:52.475964
- Title: SelfCodeAlign: Self-Alignment for Code Generation
- Title（参考訳）: SelfCodeAlign: コード生成のためのセルフアライメント
- Authors: Yuxiang Wei, Federico Cassano, Jiawei Liu, Yifeng Ding, Naman Jain, Zachary Mueller, Harm de Vries, Leandro von Werra, Arjun Guha, Lingming Zhang,
- Abstract要約: SelfCodeAlignは、自己整合型コード言語モデル(LLM)のための、初めて完全に透明で許容可能なパイプラインである
まず、高品質なシードスニペットから多様なコーディング概念を抽出し、新しいタスクを生成する。
次に、タスク毎に複数のレスポンスをサンプリングし、それぞれがテストケースとペアリングし、サンドボックス環境で検証する。
このデータセットの微調整は、HumanEval+で67.1パス@1を達成するモデルにつながります。
- 参考スコア（独自算出の注目度）: 15.23960029671979
- License:
- Abstract: Instruction tuning is a supervised fine-tuning approach that significantly improves the ability of large language models (LLMs) to follow human instructions. We propose SelfCodeAlign, the first fully transparent and permissive pipeline for self-aligning code LLMs without extensive human annotations or distillation. SelfCodeAlign employs the same base model for inference throughout the data generation process. It first extracts diverse coding concepts from high-quality seed snippets to generate new tasks. It then samples multiple responses per task, pairs each with test cases, and validates them in a sandbox environment. Finally, passing examples are selected for instruction tuning. In our primary experiments, we use SelfCodeAlign with CodeQwen1.5-7B to generate a dataset of 74k instruction-response pairs. Finetuning on this dataset leads to a model that achieves a 67.1 pass@1 on HumanEval+, surpassing CodeLlama-70B-Instruct despite being ten times smaller. Across all benchmarks, this finetuned model consistently outperforms the original version trained with OctoPack, the previous state-of-the-art method for instruction tuning without human annotations or distillation. Additionally, we show that SelfCodeAlign is effective across LLMs of various sizes, from 3B to 33B, and that the base models can benefit more from alignment with their own data distribution. We further validate each component's effectiveness in our pipeline, showing that SelfCodeAlign outperforms both direct distillation from GPT-4o and leading GPT-3.5-based distillation methods, such as OSS-Instruct and Evol-Instruct. SelfCodeAlign has also led to the creation of StarCoder2-Instruct, the first fully transparent, permissively licensed, and self-aligned code LLM that achieves state-of-the-art coding performance.
- Abstract（参考訳）: インストラクションチューニングは、人間の指示に従う大きな言語モデル(LLM)の能力を大幅に向上させる教師付き微調整アプローチである。
人間のアノテーションや蒸留を伴わない自己調整型コードLLMのための,最初の完全透明かつパーミッシブなパイプラインであるSelfCodeAlignを提案する。
SelfCodeAlignは、データ生成プロセス全体にわたって推論に同じベースモデルを使用している。
まず、高品質なシードスニペットから多様なコーディング概念を抽出し、新しいタスクを生成する。
次に、タスク毎に複数のレスポンスをサンプリングし、それぞれがテストケースとペアリングし、サンドボックス環境で検証する。
最後に、命令チューニングのためにパスサンプルが選択される。
最初の実験では、SelfCodeAlignとCodeQwen1.5-7Bを使って74kの命令応答ペアのデータセットを生成しました。
このデータセットの微調整は、HumanEval+で67.1パス@1を達成するモデルにつながります。
すべてのベンチマークにおいて、この微調整されたモデルは、人間のアノテーションや蒸留を使わずに、以前の最先端のチューニング方法であるOctoPackでトレーニングされたオリジナルのバージョンを一貫して上回っている。
さらに,SelfCodeAlign は 3B から 33B までの様々なサイズの LLM に対して有効であり,ベースモデルが自身のデータ分布との整合性の向上に有効であることを示す。
さらに,GPT-4oからの直接蒸留とOSS-InstructやEvol-InstructといったGPT-3.5ベースの蒸留法において,SelfCodeAlignが優れた性能を発揮することを示す。
SelfCodeAlignはまた、StarCoder2-Instructを作った。StarCoder2-Instructは、最先端のコーディングパフォーマンスを実現する最初の完全透明で、パーミッシブにライセンスされた、自己整合性のあるコードLLMである。
関連論文リスト
- Cookbook: A framework for improving LLM generative abilities via programmatic data generating templates [57.29125360837203]
Cookbookはランダムトークン上の単純なパターンからなるトレーニングデータを生成するフレームワークである。
クックブック生成したデータの微調整により,対応するタスクの性能を最大52.7の精度で向上できることがわかった。
論文 参考訳（メタデータ） (2024-10-07T17:29:40Z) - Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。
実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
論文 参考訳（メタデータ） (2024-09-27T08:20:59Z) - Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models [54.14602121129874]
トレーニングデータを自動的に生成する最初のスケーラブルで信頼性の高いAutoIFを導入する。
AutoIFは命令追従データ品質の検証をコード検証に変換する。
論文 参考訳（メタデータ） (2024-06-19T13:29:53Z) - UICoder: Finetuning Large Language Models to Generate User Interface Code through Automated Feedback [21.858896845159208]
大規模言語モデル(LLM)は、視覚的に関連する設計をコンパイルし、生成するUIコードを生成するのに苦労する。
生成を改善するための既存のアプローチは、高価な人間のフィードバックやプロプライエタリなモデルを蒸留することに依存している。
提案手法は,既存のLLMから始まり,大規模合成データセットを自己生成することにより,改良されたモデルを反復的に生成する。
論文 参考訳（メタデータ） (2024-06-11T21:53:46Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳（メタデータ） (2024-04-08T21:15:36Z) - Self-Instruct: Aligning Language Models with Self-Generated Instructions [76.42871502364697]
Self-Instructは、事前訓練された言語モデルの命令フォロー機能を改善するためのフレームワークである。
私たちのパイプラインは、言語モデルから命令、入力、および出力のサンプルを生成し、その後、元のモデルを微調整するためにそれらを使用する前に、無効または類似のサンプルをフィルタします。
さらなる評価のために、新規タスクのエキスパートによる指示のセットをキュレートし、GPT3とセルフインストラクトのチューニングが既存の公開インストラクションデータセットを大きなマージンで向上することを示す。
論文 参考訳（メタデータ） (2022-12-20T18:59:19Z) - DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。
本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。
4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文 参考訳（メタデータ） (2022-10-28T11:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。