論文の概要: Enhancing LLM Agents for Code Generation with Possibility and Pass-rate Prioritized Experience Replay

• arxiv url: http://arxiv.org/abs/2410.12236v1
• Date: Wed, 16 Oct 2024 04:54:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:43:44.560480
• Title: Enhancing LLM Agents for Code Generation with Possibility and Pass-rate Prioritized Experience Replay
• Title（参考訳）: コード生成のためのLCMエージェントの強化とパスレート優先体験再生
• Authors: Yuyang Chen, Kaiyan Zhao, Yiming Wang, Ming Yang, Jian Zhang, Xiaoguang Niu,
• Abstract要約: BTPパイプラインは、ビームサーチサンプリング、テストフェーズ、優先されたエクスペリエンス再生フェーズの3つのフェーズで構成されている。 このアプローチでは、コードモデルによって収集された失敗プログラムを利用し、高い可能性とパスレート優先度を持つプログラムを再生する。
• 参考スコア（独自算出の注目度）: 15.13572997624825
• License:
• Abstract: Nowadays transformer-based Large Language Models (LLM) for code generation tasks usually apply sampling and filtering pipelines. Due to the sparse reward problem in code generation tasks caused by one-token incorrectness, transformer-based models will sample redundant programs till they find a correct one, leading to low efficiency. To overcome the challenge, we incorporate Experience Replay (ER) in the fine-tuning phase, where codes and programs produced are stored and will be replayed to give the LLM agent a chance to learn from past experiences. Based on the spirit of ER, we introduce a novel approach called BTP pipeline which consists of three phases: beam search sampling, testing phase, and prioritized experience replay phase. The approach makes use of failed programs collected by code models and replays programs with high Possibility and Pass-rate Prioritized value (P2Value) from the replay buffer to improve efficiency. P2Value comprehensively considers the possibility of transformers' output and pass rate and can make use of the redundant resources caused by the problem that most programs collected by LLMs fail to pass any tests. We empirically apply our approach in several LLMs, demonstrating that it enhances their performance in code generation tasks and surpasses existing baselines.
• Abstract（参考訳）: コード生成タスク用のトランスフォーマーベースの大規模言語モデル(LLM)は通常、サンプリングとフィルタリングパイプラインを適用する。 1-tokenの不正確さによって生じるコード生成タスクにおける報酬の問題のため、トランスフォーマーベースのモデルは、正しいプログラムを見つけるまで冗長プログラムをサンプリングし、効率を低下させる。 この課題を克服するために、我々は、コードやプログラムが格納され、LLMエージェントに過去の経験から学ぶ機会を与える微調整フェーズにエクスペリエンス・リプレイ(ER)を組み込む。 ERの精神に基づいて,ビームサーチサンプリング,テストフェーズ,優先経験再生フェーズという3つのフェーズからなる,BTPパイプラインと呼ばれる新しいアプローチを導入する。 このアプローチでは、コードモデルによって収集された失敗プログラムを利用し、リプレイバッファから高い可能性とパスレート優先値(P2Value)を持つプログラムをリプレイすることで効率を向上する。 P2Valueは、変換器の出力と通過率の可能性を包括的に検討し、LLMが収集するほとんどのプログラムがテストに合格できないという問題に起因する冗長なリソースを利用することができる。 提案手法をいくつかの LLM に適用し,コード生成タスクの性能向上と,既存のベースラインの超越を実証した。

関連論文リスト

• SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論を高速化するパラダイムとして広く用いられている。 本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。 SWIFTは生成したテキストの元の分布を保ちながら1.3x-1.6xの高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-09T14:15:30Z)
• zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
  大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• Validating LLM-Generated Programs with Metamorphic Prompt Testing [8.785973653167112]
  大規模言語モデル(LLM)は、ソフトウェア開発ライフサイクルにますます統合されています。 本稿では,これらの課題に対処するため,メタモルフィック・プロンプト・テストと呼ばれる新しい手法を提案する。 我々のHumanEvalに対する評価は,GPT-4が生成する誤プログラムの75%を,偽陽性率8.6%で検出できることを示す。
  論文  参考訳（メタデータ） (2024-06-11T00:40:17Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
  本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。 我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
  論文  参考訳（メタデータ） (2023-08-23T17:37:51Z)
• Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue [80.05509768165135]
  生成的再生法は、過去の知識と生成された擬似サンプルを統合するために広く用いられている。 既存の生成的再生法の多くは、モデルを制御するために単一のタスク固有のトークンのみを使用する。 本稿では,タスクの統計を取り入れて生成的再生を向上させるために,生涯学習のための新しい条件付きVAEを提案する。
  論文  参考訳（メタデータ） (2022-10-14T13:12:14Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。