論文の概要: Instruction Fusion: Advancing Prompt Evolution through Hybridization
- arxiv url: http://arxiv.org/abs/2312.15692v3
- Date: Wed, 7 Feb 2024 08:14:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 19:22:51.063714
- Title: Instruction Fusion: Advancing Prompt Evolution through Hybridization
- Title(参考訳): インストラクション融合:ハイブリダイゼーションによる迅速な進化の促進
- Authors: Weidong Guo, Jiuding Yang, Kaitong Yang, Xiangyang Li, Zhuwei Rao, Yu
Xu, Di Niu
- Abstract要約: 本稿では,既存の即時進化手法の制約について検討し,新しいアプローチであるインストラクション・フュージョン(IF)を導入する。
IFは、ハイブリッド化プロセスを通じて、2つの異なるプロンプトを革新的に組み合わせ、コードLLMのトレーニングプロンプトの進化を強化する。
実験の結果,提案手法は従来の手法の欠点を効果的に解決し,コードLLMの性能を著しく向上させることがわかった。
- 参考スコア(独自算出の注目度): 28.691691883519542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The fine-tuning of Large Language Models (LLMs) specialized in code
generation has seen notable advancements through the use of open-domain coding
queries. Despite the successes, existing methodologies like Evol-Instruct
encounter performance limitations, impeding further enhancements in code
generation tasks. This paper examines the constraints of existing prompt
evolution techniques and introduces a novel approach, Instruction Fusion (IF).
IF innovatively combines two distinct prompts through a hybridization process,
thereby enhancing the evolution of training prompts for code LLMs. Our
experimental results reveal that the proposed novel method effectively
addresses the shortcomings of prior methods, significantly improving the
performance of Code LLMs across five code generation benchmarks, namely
HumanEval, HumanEval+, MBPP, MBPP+ and MultiPL-E, which underscore the
effectiveness of Instruction Fusion in advancing the capabilities of LLMs in
code generation.
- Abstract(参考訳): コード生成に特化した大規模言語モデル(llm)の微調整は、オープンドメインのコーディングクエリの使用によって顕著な進歩を遂げている。
成功にもかかわらず、Evol-Instructのような既存の方法論はパフォーマンスの制限に直面し、コード生成タスクのさらなる強化を妨げる。
本稿では,既存のプロンプト進化技術の制約を検証し,新しい手法である命令融合(if)を提案する。
ハイブリダイゼーションプロセスを通じて2つの異なるプロンプトを革新的に組み合わせることで、コードllmのためのトレーニングプロンプトの進化が促進される。
提案手法は,HumanEval,HumanEval+,MBPP,MBPP+,MultiPL-Eの5つのコード生成ベンチマークにおけるコードLLMの性能を著しく向上し,コード生成におけるLLMの能力向上にインストラクションフュージョンが有効であることを示す。
関連論文リスト
- SEED: Customize Large Language Models with Sample-Efficient Adaptation for Code Generation [35.88318116340547]
コード生成のための誤り駆動学習を用いたサンプル効率適応のためのSEEDという新しい適応手法を提案する。
複数のコード生成ベンチマークでPass@1の平均相対改善率は54.7%である。
論文 参考訳(メタデータ) (2024-02-29T16:09:02Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-25T20:07:13Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM
Fine-Tuning: A Benchmark [170.47660885570463]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳(メタデータ) (2024-02-18T14:08:48Z) - DolphCoder: Echo-Locating Code Large Language Models with Diverse and
Multi-Objective Instruction Tuning [36.78560777629329]
コード生成を自己評価する多種多様な命令モデル(DolphCoder)を導入する。
多様な命令ターゲットを学習し、コード生成能力を高めるためにコード評価の目的を組み合わせる。
本モデルは,HumanEvalおよびMBPPベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2024-02-14T12:34:58Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Connecting Large Language Models with Evolutionary Algorithms Yields
Powerful Prompt Optimizers [70.18534453485849]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。
進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。
人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文 参考訳(メタデータ) (2023-09-15T16:50:09Z) - Execution-based Code Generation using Deep Reinforcement Learning [8.085533911328577]
PPOCoderは、事前訓練されたPLモデルとプロキシポリシー最適化を組み合わせた、コード生成のための新しいフレームワークである。
PPOCoderは、外部コード固有の知識をモデル最適化プロセスにシームレスに統合する。
PPOCoderはタスクに依存しない、モデルに依存しないフレームワークで、さまざまなコード生成タスクやPLで使用できます。
論文 参考訳(メタデータ) (2023-01-31T18:02:26Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳(メタデータ) (2021-06-14T18:48:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。