論文の概要: Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM: Unpacking the Trade-offs for Code Generation

• arxiv url: http://arxiv.org/abs/2606.28998v2
• Date: Fri, 03 Jul 2026 15:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 13:04:58.217242
• Title: Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM: Unpacking the Trade-offs for Code Generation
• Title（参考訳）: 事前学習や微調整によるコードアライメントの回避:コード生成のためのトレードオフを解き放つ
• Authors: Sanjeepan Sivapiran, Gias Uddin,
• Abstract要約: 大規模言語モデル(LLM)は、好みのデータを使ってLLMを訓練し、品質基準を満たす出力を生成する。 LLMのコードアライメントが機能要件(実行可能で正しいコードを生成する)と非機能要件(コードの可読性、スタイル、保守性)の両方をサポートするかどうかは不明だ。 コードLLMのアライメントは、ベースで事前訓練されたバージョンから始めるべきか、LLMの微調整バージョン(命令調整バージョン)から始めるべきかも不明である。
• 参考スコア（独自算出の注目度）: 2.2917707112773593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) alignment trains an LLM using preference data to produce outputs that better meet established quality standards. While LLM alignment techniques are studied for non-coding tasks, we know little about their usefulness for coding tasks. It is unclear whether LLM code alignment could support both functional requirements (producing executable, correct code) and non-functional requirements (code readability, style, maintainability). It is also unknown whether alignment for a code LLM should begin with base pretrained version or the finetuned (i.e., instruction-tuned) version of the LLM. In this paper, we offer insights on the above two research questions by conducting an empirical study. We studied five state-of-the-art (SOTA) LLMs using two widely used LLM alignment techniques: Direct Preference Optimization (DPO) and BoNBoN. For each training record, we created a preference pair as accepted and rejected instances by using the SelfCodeAlign pipeline. DPO and BoNBoN are reward-free models, i.e., they eliminate the need for multiple reward scores for output preferences. We tuned each LLM using the two alignment techniques in two settings: pretrained and finetuned versions of an LLM. We evaluated functional requirements using four SOTA benchmarks (HumanEval+, MBPP+, EvalPerf, EvoEval) and non-functional requirements using the CODAL benchmark, which evaluates code quality across five dimensions derived from software engineering practices. We find that pretrained-to-aligned pathways achieve larger improvements in the aligned variant over its pretrained variant. But the pretrained variant is generally less accurate than its finetuned variant. However, finetuned- to-aligned offers smaller performance improvements or, in some cases, degradation in the aligned variant than its finetuned variant.
• Abstract（参考訳）: LLM(Large Language Model)は、所望のデータを用いてLLMを訓練し、確立された品質基準を満たす出力を生成する。 LLMアライメント技術は非コーディングタスクに対して研究されているが、コーディングタスクの有用性についてはほとんど分かっていない。 LLMのコードアライメントが機能要件(実行可能で正しいコードを生成する)と非機能要件(コードの可読性、スタイル、保守性)の両方をサポートするかどうかは不明だ。 コードLLMのアライメントは、ベースで事前訓練されたバージョンから始めるべきか、LLMの微調整バージョン(命令調整バージョン)から始めるべきかも不明である。 本稿では,実証的研究を行い,上記の2つの研究課題について考察する。 我々は,DPO(Direct Preference Optimization)とBoNBoN(BoNBoN)の2つのLLMアライメント技術を用いて,最先端のSOTA(State-of-the-art)LLMについて検討した。 トレーニングレコード毎に、SelfCodeAlignパイプラインを使用して、承認されたインスタンスと拒否されたインスタンスのプライオリティペアを作成しました。 DPOとBoNBoNは報酬のないモデルである。 我々は,2つのアライメント手法を用いて,LLMの事前訓練と微調整の2つの設定で各LLMをチューニングした。 我々は4つのSOTAベンチマーク(HumanEval+, MBPP+, EvalPerf, EvoEval)とCODALベンチマークを用いて機能要件を評価し、ソフトウェア工学の実践から派生した5次元のコード品質を評価する。 事前訓練された経路は、事前訓練された経路よりもアライメントされた経路がより大きく改善されることが判明した。 しかし、事前訓練された変種は、一般的にその微調整された変種よりも正確ではない。 しかし、ファインチューニング・トゥ・アライメントはパフォーマンスの改善を小さくするか、場合によっては、そのファインチューニング・アライメント・アライメントよりもアライメント・アライメント・アライメントが劣化する。

関連論文リスト

• Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches [0.0]
  我々は、リソース制約下での下流テキスト分類のためのLLM(Large Language Models)を微調整する戦略について検討する。 1)事前訓練した因果LLMに分類ヘッドをアタッチしてタスクを微調整し,(2)分類のためのプロンプト>応答形式でLSMを指導する,という2つの手法を検討した。
  論文  参考訳（メタデータ） (2025-12-14T13:02:06Z)
• Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning - A Convex Optimization Perspective [55.66517396157806]
  オープンソースLLMのポストトレーニングにおいて広く採用されているアプローチは、SFTとRLHF/DPOのシーケンシャルな実行である。 これはSFTとRLHF/DPOのトレードオフの点において最適である。 本稿では,理論収束保証と逐次後学習フレームワークの性能を実証的に向上させる,実践的な後学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-20T19:38:41Z)
• Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
  本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。 実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
  論文  参考訳（メタデータ） (2024-09-27T08:20:59Z)
• Value Augmented Sampling for Language Model Alignment and Personalization [39.070662999014836]
  報酬最適化のための新しいフレームワーク、価値拡張サンプリング(VAS)を提案する。 VASは、ポリシーと値関数を併用することなく、最適報酬最大化ポリシーを解く。 我々のアルゴリズムは、いくつかの報酬を作曲し、展開期間中に各報酬の幅を制御できる新しい能力を解き放ちます。
  論文  参考訳（メタデータ） (2024-05-10T17:59:04Z)
• CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences [5.165576022684194]
  LLM-as-a-Judge法を用いて、LLMと符号化優先のアライメントを評価する。 CodeUltraFeedbackは1万のコード命令で構成され、それぞれに14 LLMの多様なプールから生成される4つの応答が注釈付けされている。 次に、教師付き微調整(SFT)とAIフィードバックからの強化学習(RLAIF)を用いたCodeLlama-7B-Instructの微調整のためのフィードバックデータとしてのCodeUltraFeedbackの利用について検討する。
  論文  参考訳（メタデータ） (2024-03-14T01:51:35Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。