Fugu-MT 論文翻訳(概要): Applying RLAIF for Code Generation with API-usage in Lightweight LLMs

論文の概要: Applying RLAIF for Code Generation with API-usage in Lightweight LLMs

arxiv url: http://arxiv.org/abs/2406.20060v1
Date: Fri, 28 Jun 2024 17:16:03 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 16:10:57.832737
Title: Applying RLAIF for Code Generation with API-usage in Lightweight LLMs
Title（参考訳）: 軽量LLMにおけるAPI利用によるコード生成のためのRLAIFの適用
Authors: Sujan Dutta, Sayantan Mahinder, Raviteja Anantha, Bortik Bandyopadhyay,
Abstract要約: Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
参考スコア（独自算出の注目度）: 15.366324461797582
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement Learning from AI Feedback (RLAIF) has demonstrated significant potential across various domains, including mitigating harm in LLM outputs, enhancing text summarization, and mathematical reasoning. This paper introduces an RLAIF framework for improving the code generation abilities of lightweight (<1B parameters) LLMs. We specifically focus on code generation tasks that require writing appropriate API calls, which is challenging due to the well-known issue of hallucination in LLMs. Our framework extracts AI feedback from a larger LLM (e.g., GPT-3.5) through a specialized prompting strategy and uses this data to train a reward model towards better alignment from smaller LLMs. We run our experiments on the Gorilla dataset and meticulously assess the quality of the model-generated code across various metrics, including AST, ROUGE, and Code-BLEU, and develop a pipeline to compute its executability rate accurately. Our approach significantly enhances the fine-tuned LLM baseline's performance, achieving a 4.5% improvement in executability rate. Notably, a smaller LLM model (780M parameters) trained with RLAIF surpasses a much larger fine-tuned baseline with 7B parameters, achieving a 1.0% higher code executability rate.
Abstract（参考訳）: AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)は、LLM出力の害軽減、テキスト要約の強化、数学的推論など、さまざまな領域において有意義な可能性を証明している。本稿では,軽量 (<1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。特に、適切なAPI呼び出しを書く必要があるコード生成タスクに重点を置いています。我々のフレームワークは,より大きなLLM(例えば GPT-3.5)から特別なプロンプト戦略を通じてAIフィードバックを抽出し,このデータを用いて,より小さなLLMからのアライメントを改善するための報酬モデルをトレーニングする。実験をGorillaデータセット上で実行し、AST、ROUGE、Code-BLEUなど、さまざまなメトリクスでモデル生成コードの品質を慎重に評価し、実行可能性率を正確に計算するためのパイプラインを開発しました。提案手法は細調整LDMベースラインの性能を著しく向上させ,実行可能性率を4.5%向上させる。特に、RLAIFでトレーニングされた小さなLLMモデル(780Mパラメータ)は、7Bパラメータを持つはるかに大きな微調整ベースラインを超え、1.0%高いコード実行率を達成する。

関連論文リスト

RIDE: Enhancing Large Language Model Alignment through Restyled In-Context Learning Demonstration Exemplars [57.6513924960128]
調整調整は、大きな言語モデル(LLM)が倫理的かつ有用な振る舞いを確実にするために不可欠である。本稿では,LLMアライメントを向上させるために,ICL(In-context Learning)を用いた低コストでチューニング不要な手法を提案する。
論文参考訳（メタデータ） (2025-02-17T11:16:19Z)
LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
Improving the Ability of Pre-trained Language Model by Imparting Large Language Model's Experience [4.814313782484443]
大規模言語モデル (LLM) と事前訓練型言語モデル (LM) は多くのソフトウェア工学のタスクにおいて驚くべき成功を収めた。我々は、LLMを用いてドメイン固有のデータを生成し、目標タスクにおける事前学習されたLMの性能を向上させる。
論文参考訳（メタデータ） (2024-08-16T06:37:59Z)
A Performance Study of LLM-Generated Code on Leetcode [1.747820331822631]
本研究では,Large Language Models (LLM) によるコード生成の効率性を評価する。モデル温度や成功率などの要因とコード性能への影響を考慮し、18個のLLMを比較した。 LLMは、人間によって書かれたコードよりも平均的に、より効率的なコードを生成することができる。
論文参考訳（メタデータ） (2024-07-31T13:10:03Z)
LeDex: Training LLMs to Better Self-Debug and Explain Code [36.604898865514365]
LeDexは、LLMの自己老化能力を大幅に改善するトレーニングフレームワークである。コード説明と改良のための高品質なデータセットを収集する自動パイプラインを提案する。我々は、新しい報酬設計で、成功と失敗の軌跡の両方について、教師付き微調整(SFT)およびさらに強化学習(RL)を行う。
論文参考訳（メタデータ） (2024-05-28T23:20:24Z)
LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
論文参考訳（メタデータ） (2024-03-22T08:57:07Z)
CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences [5.165576022684194]
LLM-as-a-Judge法を用いて、LLMと符号化優先のアライメントを評価する。 CodeUltraFeedbackは1万のコード命令で構成され、それぞれに14 LLMの多様なプールから生成される4つの応答が注釈付けされている。次に、教師付き微調整(SFT)とAIフィードバックからの強化学習(RLAIF)を用いたCodeLlama-7B-Instructの微調整のためのフィードバックデータとしてのCodeUltraFeedbackの利用について検討する。
論文参考訳（メタデータ） (2024-03-14T01:51:35Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文参考訳（メタデータ） (2024-01-02T18:53:13Z)
Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
論文参考訳（メタデータ） (2023-08-21T04:31:06Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。