論文の概要: CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences
- arxiv url: http://arxiv.org/abs/2403.09032v1
- Date: Thu, 14 Mar 2024 01:51:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 22:07:16.835415
- Title: CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences
- Title（参考訳）: CodeUltraFeedback:LLM-as-a-Judgeデータセット
- Authors: Martin Weyssow, Aton Kamanda, Houari Sahraoui,
- Abstract要約: CodeUltraFeedbackは1万の複雑な命令の選好データセットで、LLMをAIフィードバックによるコーディング選好に調整し、調整する。
以上の結果から,CoDAL-Bench上では,AIフィードバックからの強化学習によりCodeLlama-7B-Instructが34B LLMを上回った。
- 参考スコア（独自算出の注目度）: 2.3749120526936465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the alignment of large language models (LLMs) with user-defined coding preferences is a challenging endeavour that requires assessing intricate textual LLMs' outputs. By relying on automated metrics and static analysis tools, existing benchmarks fail to assess nuances in user instructions and LLM outputs, highlighting the need for large-scale datasets and benchmarks for LLM preference alignment. In this paper, we introduce CodeUltraFeedback, a preference dataset of 10,000 complex instructions to tune and align LLMs to coding preferences through AI feedback. We generate responses to the instructions using a pool of 14 diverse LLMs, which we then annotate according to their alignment with five coding preferences using the LLM-as-a-Judge approach with GPT-3.5, producing both numerical and textual feedback. We also present CODAL-Bench, a benchmark for assessing LLM alignment with these coding preferences. Our results show that CodeLlama-7B-Instruct, aligned through reinforcement learning from AI feedback (RLAIF) with direct preference optimization (DPO) using CodeUltraFeedback's AI feedback data, outperforms 34B LLMs on CODAL-Bench, validating the utility of CodeUltraFeedback for preference tuning. Furthermore, we show our DPO-aligned CodeLlama model improves functional correctness on HumanEval+ compared to the unaligned base model. Therefore, our contributions bridge the gap in preference tuning of LLMs for code and set the stage for further advancements in model alignment and RLAIF for code intelligence. Our code and data are available at https://github.com/martin-wey/CodeUltraFeedback.
- Abstract（参考訳）: 大規模言語モデル(LLM)とユーザ定義のコーディング嗜好の整合性を評価することは、複雑なテキストLLMの出力を評価することを必要とする困難な取り組みである。
自動メトリクスと静的解析ツールに頼ることで、既存のベンチマークはユーザインストラクションとLLM出力のニュアンスを評価することができず、LLMの優先順位調整のための大規模データセットとベンチマークの必要性を強調している。
本稿では,LLMをAIフィードバックによるコーディングの好みに合わせて調整・調整するための,1万の複雑な命令の嗜好データセットであるCodeUltraFeedbackを紹介する。
我々は14種類のLCMのプールを用いて命令に対する応答を生成し、GPT-3.5を用いたLCM-as-a-Judgeアプローチを用いて5つのコーディング嗜好にアノテートし、数値とテキストの両方のフィードバックを生成する。
また、これらのコーディング嗜好とLLMアライメントを評価するためのベンチマークであるCODAL-Benchを提案する。
この結果から, CodeLlama-7B-Instructは, CodeUltraFeedbackのAIフィードバックデータを用いてAIフィードバック(RLAIF)から強化学習を行い, CODAL-Bench上で34B LLMを上回った。
さらに、DPO対応のCodeLlamaモデルにより、不整合ベースモデルと比較してHumanEval+の機能的正しさが向上することを示す。
したがって、コードに対するLLMの嗜好調整のギャップを埋め、モデルアライメントのさらなる進歩とコードインテリジェンスのためのRLAIFのステージを設定します。
私たちのコードとデータはhttps://github.com/martin-wey/CodeUltraFeedback.comで公開されています。
関連論文リスト
- LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。
近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。
本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
論文 参考訳（メタデータ） (2024-10-21T18:06:25Z) - Better Instruction-Following Through Minimum Bayes Risk [48.879360919760074]
人間レベルの評価が可能な汎用LLM審査員は、命令追従LLMを評価するスケーラブルで正確な方法を提供する。
LLM判事を監督に活用する有望な方法の1つは、最小ベイズリスク(MBR)デコーディングである。
MBRデコードでは、基準ベースの評価器を使用して、候補出力のセットの中から高品質な出力を選択する。
論文 参考訳（メタデータ） (2024-10-03T18:48:38Z) - Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。
実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
論文 参考訳（メタデータ） (2024-09-27T08:20:59Z) - Source Code Summarization in the Era of Large Language Models [23.715005053430957]
大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。
本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
論文 参考訳（メタデータ） (2024-07-09T05:48:42Z) - InverseCoder: Unleashing the Power of Instruction-Tuned Code LLMs with Inverse-Instruct [43.7550233177368]
本稿では,逆ではなくコードスニペットからの命令を要約したINVERSE-INSTRUCTを提案する。
InverseCoder というコード LLM のシリーズを提示する。これは、広範囲のベンチマークにおいて、元のコード LLM のパフォーマンスを上回ります。
論文 参考訳（メタデータ） (2024-07-08T08:00:05Z) - Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。
本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-28T17:16:03Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳（メタデータ） (2024-04-08T21:15:36Z) - The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context
Learning [61.68787689234622]
最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。
これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。
本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
論文 参考訳（メタデータ） (2023-12-04T00:46:11Z) - GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond [29.778018058541676]
GPT-Fathomは、OpenAI Evals上に構築された大規模言語モデル(LLM)のための、オープンソースで再現可能な評価スイートである。
私たちは,7つの機能カテゴリにまたがる20以上のベンチマークで,10以上のLLMとOpenAIのレガシモデルを評価しました。
論文 参考訳（メタデータ） (2023-09-28T16:43:35Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳（メタデータ） (2023-02-22T17:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。