論文の概要: Semi-Instruct: Bridging Natural-Instruct and Self-Instruct for Code Large Language Models

• arxiv url: http://arxiv.org/abs/2403.00338v1
• Date: Fri, 1 Mar 2024 08:05:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 17:55:51.866231
• Title: Semi-Instruct: Bridging Natural-Instruct and Self-Instruct for Code Large Language Models
• Title（参考訳）: semi-instruct: コード大規模言語モデルのための自然命令と自己指示のブリッジ
• Authors: Xianzhen Luo, Qingfu Zhu, Zhiming Zhang, Xu Wang, Qing Yang, Dongliang Xu, Wanxiang Che
• Abstract要約: チューニングデータを収集する2つの主要なパラダイムは、自然なインストラクトと自己インストラクトである。 半インストラクトは自然インストラクトや自己インストラクトよりもはるかに優れている。
• 参考スコア（独自算出の注目度）: 47.35716512745028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning plays a pivotal role in Code Large Language Models (Code LLMs) for the task of program synthesis. Presently, two dominant paradigms for collecting tuning data are natural-instruct (human-written) and self-instruct (automatically generated). Natural-instruct includes diverse and correct codes but lacks instruction-code pairs, and exists improper code formats like nested single-line codes. In contrast, self-instruct automatically generates proper paired data. However, it suffers from low diversity due to generating duplicates and cannot ensure the correctness of codes. To bridge the both paradigms, we propose \textbf{Semi-Instruct}. It first converts diverse but improper codes from natural-instruct into proper instruction-code pairs through a method similar to self-instruct. To verify the correctness of generated codes, we design a novel way to construct test cases by generating cases' inputs and executing correct codes from natural-instruct to get outputs. Finally, diverse and correct instruction-code pairs are retained for instruction tuning. Experiments show that semi-instruct is significantly better than natural-instruct and self-instruct. Furthermore, the performance steadily improves as data scale increases.
• Abstract（参考訳）: 命令チューニングは、プログラム合成のタスクにおいて、Code Large Language Models (Code LLM) において重要な役割を果たす。 現在、チューニングデータを収集する2つの主要なパラダイムは、自然命令(人間書き)と自己命令(自動生成)である。 natural-instructは多種多様な正しいコードを含んでいるが、命令と命令のペアがなく、ネストされたシングルラインコードのような不適切なコード形式が存在する。 対照的に、自己指示は適切なペアデータを自動的に生成する。 しかし、重複を生成するため多様性が低く、コードの正確性を保証することができない。 両パラダイムをブリッジするために, textbf{Semi-Instruct}を提案する。 最初は多様だが不適切なコードを自然命令から適切な命令コードペアに変換する。 生成した符号の正当性を検証するために,ケースの入力を生成し,自然な命令から正しい符号を実行して出力を得る,新たなテストケース構築手法を設計する。 最後に、命令チューニングのために、多様で正しい命令コードペアが保持される。 実験により、セミインストラクションは自然インストラクションや自己インストラクションよりも著しく優れていることが示された。 さらに、データスケールが大きくなるにつれて、パフォーマンスが着実に向上する。

関連論文リスト

• Instruction Following without Instruction Tuning [87.72635104686275]
  命令チューニングに比較して不十分な2種類の適応(チューニング)があるが、それでも命令に従うことができる。 我々は、事前訓練されたモデルを用いて、エキスパート製品における指示に従うルールベースの言語モデルを手書きで支援する。
  論文  参考訳（メタデータ） (2024-09-21T22:36:22Z)
• Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models [54.51932175059004]
  本稿では,大規模言語モデルのコード生成能力を高めるために,合成命令を生成するスケーラブルな手法を提案する。 提案したアルゴリズムは進化過程を模倣し、自己インストラクションを利用して限られた数の種子から多数の合成サンプルを生成する。
  論文  参考訳（メタデータ） (2024-07-29T20:42:59Z)
• UniCoder: Scaling Code Large Language Model via Universal Code [40.248836046285014]
  中間表現としてユニバーサルコード(UniCode)を導入する。 UniCoder-Instructは自然言語の質問、コードソリューション、および対応するユニバーサルコードから構成される。 中間普遍符号表現と最終符号解とのアライメントは、生成されたコードの品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-06-24T08:32:48Z)
• CLAP: Learning Transferable Binary Code Representations with Natural Language Supervision [22.42846252594693]
  本稿では,言語指導を利用してバイナリコードのより良い表現を学習するCLAP(Contrastive Language-Assembly Pre-training)を提案する。 中心となるアプローチは、バイナリコードとセマンティックスの説明を効果的に整合させることで、優れたトランスファー学習能力を向上する。 私たちは1億9500万のバイナリコードと説明を生成し、CLAPのプロトタイプをトレーニングしました。
  論文  参考訳（メタデータ） (2024-02-26T13:49:52Z)
• Ada-Instruct: Adapting Instruction Generators for Complex Reasoning [14.456571495691561]
  微調整により開発した適応型命令生成器であるAda-Instructを紹介する。 Ada-Instructの有効性をさまざまなアプリケーションで実証的に検証した。
  論文  参考訳（メタデータ） (2023-10-06T13:28:04Z)
• Prompting with Pseudo-Code Instructions [12.166296720125187]
  我々は、分類、QA、生成言語タスクにまたがる132のタスクに対して、擬似コードプロンプトのデータセットを作成する。 これらのプロンプトと自然言語の対応を利用して, BLOOM と CodeGen の2つの LLM ファミリ上での性能について検討する。 実験の結果, 擬似符号命令を用いることで, 分類作業におけるF1得点の平均7～16ポイント, ROUGE-L得点の12～38%の増加(絶対値)が得られた。
  論文  参考訳（メタデータ） (2023-05-19T16:25:01Z)
• NatGen: Generative pre-training by "Naturalizing" source code [18.410818213965918]
  我々は,ソースコードの「成熟化」という新たな事前学習目標を提案する。 自然言語とは異なり、コードのバイモーダルでデュアルチャネルの性質により、意味論的に等価なコードを大規模に生成することができます。 私たちは、CodeT5に匹敵する最先端のパフォーマンスを達成するために、3つの生成ソフトウェアエンジニアリングタスクでモデルを微調整します。
  論文  参考訳（メタデータ） (2022-06-15T15:08:29Z)
• CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
  関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。 ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。 バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
  論文  参考訳（メタデータ） (2022-01-26T10:54:30Z)
• Contrastive Learning for Source Code with Structural and Functional Properties [66.10710134948478]
  本稿では,ソースコードの特徴に基づいて事前学習に焦点を当てた,新たな自己教師型モデルBOOSTを提案する。 私たちは、機能的に等価なコードを生成する自動化された構造誘導型コード変換アルゴリズムを採用しています。 私たちは、対照的な学習目標を通じて、機能的に等価なコードをより近く、異なるコードに近づける方法で、モデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-10-08T02:56:43Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。