論文の概要: CodeLutra: Boosting LLM Code Generation via Preference-Guided Refinement

• arxiv url: http://arxiv.org/abs/2411.05199v1
• Date: Thu, 07 Nov 2024 21:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:54:51.829612
• Title: CodeLutra: Boosting LLM Code Generation via Preference-Guided Refinement
• Title（参考訳）: CodeLutra: 優先度ガイドによるリファインメントによるLLMコード生成の促進
• Authors: Leitian Tao, Xiang Chen, Tong Yu, Tung Mai, Ryan Rossi, Yixuan Li, Saayan Mitra,
• Abstract要約: 我々は、低パフォーマンスな大規模言語モデルを強化する新しいフレームワークであるCodeLutraを紹介する。 従来の微調整とは異なり、CodeLutraは正しい解と間違った解を比較するために反復的な選好学習メカニズムを採用している。 挑戦的なデータ分析タスクでは、わずか500個のサンプルを使用して、Llama-3-8Bの精度を28.2%から48.6%に改善し、GPT-4の性能に接近した。
• 参考スコア（独自算出の注目度）: 32.46078765471136
• License:
• Abstract: Large Language Models (LLMs) have significantly advanced code generation but often require substantial resources and tend to over-generalize, limiting their efficiency for specific tasks. Fine-tuning smaller, open-source LLMs presents a viable alternative; however, it typically lags behind cutting-edge models due to supervised fine-tuning's reliance solely on correct code examples, which restricts the model's ability to learn from its own mistakes and adapt to diverse programming challenges. To bridge this gap, we introduce CodeLutra, a novel framework that enhances low-performing LLMs by leveraging both successful and failed code generation attempts. Unlike conventional fine-tuning, CodeLutra employs an iterative preference learning mechanism to compare correct and incorrect solutions as well as maximize the likelihood of correct codes. Through continuous iterative refinement, CodeLutra enables smaller LLMs to match or surpass GPT-4's performance in various code generation tasks without relying on vast external datasets or larger auxiliary models. On a challenging data analysis task, using just 500 samples improved Llama-3-8B's accuracy from 28.2% to 48.6%, approaching GPT-4's performance. These results highlight CodeLutra's potential to close the gap between open-source and closed-source models, making it a promising approach in the field of code generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成が大幅に進歩するが、しばしばかなりのリソースを必要とし、特定のタスクの効率を制限し、過度に一般化する傾向がある。 細調整の小さなオープンソース LLM は、実行可能な選択肢であることを示しているが、一般的には、教師付き微調整が正しいコード例にのみ依存するため、最先端モデルに遅れが生じるため、モデルが自身のミスから学習し、多様なプログラミング課題に適応する能力を制限する。 このギャップを埋めるために、コード生成と失敗した両方の試みを活用することで、低パフォーマンスのLLMを強化する新しいフレームワークであるCodeLutraを紹介します。 従来の微調整とは異なり、CodeLutraでは、正しい解と間違った解を比較し、正しい符号の可能性を最大化するために反復的な選好学習機構を採用している。 継続的な反復改良によって、CodeLutraは、大規模な外部データセットやより大きな補助モデルに頼ることなく、様々なコード生成タスクにおいて、小さなLCMがGPT-4のパフォーマンスにマッチまたは上回ることを可能にする。 挑戦的なデータ分析タスクでは、わずか500個のサンプルを使用して、Llama-3-8Bの精度を28.2%から48.6%に改善し、GPT-4の性能に接近した。 これらの結果は、CodeLutraがオープンソースとクローズドソースモデルのギャップを埋める可能性を強調しており、コード生成の分野で有望なアプローチとなっている。

関連論文リスト

• Does Few-Shot Learning Help LLM Performance in Code Synthesis? [40.35198206199065]
  この研究は、ほとんどのコード生成プロンプトにあるいくつかの例に焦点を当てている。 本研究は,少数例を選択するための2つのアプローチ,モデルフリー手法CODEEXEMPLAR-FREE,モデルベース手法CODEEXEMPLAR-BASEDを提案する。 どちらの方法も、人気のあるHumanEval+コーディングベンチマークでCodeLlamaのコーディング能力を大幅に改善した。
  論文  参考訳（メタデータ） (2024-12-03T23:19:40Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Effi-Code: Unleashing Code Efficiency in Language Models [17.355845751737423]
  Effi-Codeは、大規模言語モデルにおけるコード生成を強化するアプローチである。 Effi-Codeは、AIシステムのコード生成を改善するためのスケーラブルで汎用的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-14T07:05:51Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Low-Cost Language Models: Survey and Performance Evaluation on Python Code Generation [0.0]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクで一般的な選択肢となっている。 LLMの相当な計算とメモリ要件は、限られたリソースを持つユーザーにはアクセスできないことが多い。 本稿では,資源集約型LLMの代替となる,非常に低コストなモデルに焦点をあてる。
  論文  参考訳（メタデータ） (2024-04-17T08:16:48Z)
• SEED: Customize Large Language Models with Sample-Efficient Adaptation for Code Generation [35.88318116340547]
  コード生成のための誤り駆動学習を用いたサンプル効率適応のためのSEEDという新しい適応手法を提案する。 複数のコード生成ベンチマークでPass@1の平均相対改善率は54.7%である。
  論文  参考訳（メタデータ） (2024-02-29T16:09:02Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。