論文の概要: Reasoning Distillation and Structural Alignment for Improved Code Generation

• arxiv url: http://arxiv.org/abs/2510.17598v1
• Date: Mon, 20 Oct 2025 14:47:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.486075
• Title: Reasoning Distillation and Structural Alignment for Improved Code Generation
• Title（参考訳）: 改良符号生成のための共鳴蒸留と構造アライメント
• Authors: Amir Jalilifard, Anderson de Rezende Rocha, Marcos Medeiros Raimundo,
• Abstract要約: この研究は、大規模言語モデルの推論能力を、より速く、より安価にデプロイできる、より小さく、より効率的なモデルに蒸留する。 提案手法は,正解経路の同定を学習することで,VLLMの推論能力と問題解決能力をエミュレートするためにモデルを訓練する。 実験結果から,我々の微調整モデルは,安価で簡単な実装プロセスによって開発され,パス@1,平均データフロー,平均構文がメトリクスにマッチする点において,ベースラインモデルよりも大幅に優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.6933020649563103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective code generation with language models hinges on two critical factors: accurately understanding the intent of the prompt and generating code that applies algorithmic reasoning to produce correct solutions capable of passing diverse test cases while adhering to the syntax of the target programming language. Unlike other language tasks, code generation requires more than accurate token prediction; it demands comprehension of solution-level and structural relationships rather than merely generating the most likely tokens. very large language model (VLLM) are capable of generating detailed steps toward the correct solution of complex tasks where reasoning is crucial in solving the problem. Such reasoning capabilities may be absent in smaller language models. Therefore, in this work, we distill the reasoning capabilities of a VLLM into a smaller, more efficient model that is faster and cheaper to deploy. Our approach trains the model to emulate the reasoning and problem-solving abilities of the VLLM by learning to identify correct solution pathways and establishing a structural correspondence between problem definitions and potential solutions through a novel method of structure-aware loss optimization. This enables the model to transcend token-level generation and to deeply grasp the overarching structure of solutions for given problems. Experimental results show that our fine-tuned model, developed through a cheap and simple to implement process, significantly outperforms our baseline model in terms of pass@1, average data flow, and average syntax match metrics across the MBPP, MBPP Plus, and HumanEval benchmarks.
• Abstract（参考訳）: 言語モデルによる効果的なコード生成は、プロンプトの意図を正確に理解し、アルゴリズムによる推論を適用して、ターゲットプログラミング言語の構文に固執しながら、多様なテストケースをパスできる正しいソリューションを生成する。 他の言語タスクとは異なり、コード生成には正確なトークン予測以上のものが必要である。 非常に大きな言語モデル(VLLM)は、問題を解く上で推論が不可欠である複雑なタスクの正しい解決に向けた詳細なステップを生成することができる。 このような推論能力は、より小さな言語モデルでは欠落する可能性がある。 そこで本研究では,VLLMの推論能力を,より高速かつ安価に展開可能な,より小型で効率的なモデルに蒸留する。 提案手法は,VLLMの推論と問題解決能力をエミュレートするために,正しい解経路を同定し,構造認識損失最適化の新たな手法により,問題定義と潜在的な解との構造的対応を確立することでモデルを訓練する。 これにより、モデルがトークンレベルの生成を超越し、与えられた問題に対するソリューションの全体構造を深く理解することができる。 実験結果から,我々の微調整モデルは,安価で簡単な実装プロセスによって開発され,MBPP,MBPP Plus,HumanEvalのベンチマークにおいて,パス@1,平均データフロー,平均構文が一致する指標で,ベースラインモデルを大幅に上回っていることがわかった。

関連論文リスト

• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• From Reasoning to Code: GRPO Optimization for Underrepresented Languages [0.7864304771129751]
  本稿では,Qwen 2.5モデルの小型コードバージョンとグループ相対ポリシー最適化を組み合わせた一般化可能なアプローチを提案する。 推論によるフィードバックを直接強化学習ループに統合することにより、論理的に一貫性があり、構文的に正確なコードを生成する。
  論文  参考訳（メタデータ） (2025-05-20T11:28:48Z)
• Self-Steering Language Models [113.96916935955842]
  DisCIPL は "self-steering" 言語モデル (LM) の手法である。 DisCIPLは、Followerモデルの集団によって実行されるタスク固有の推論プログラムを生成する。 我々の研究は、高度に並列化されたモンテカルロ推論戦略の設計空間を開く。
  論文  参考訳（メタデータ） (2025-04-09T17:54:22Z)
• Post-Incorporating Code Structural Knowledge into Pretrained Models via ICL for Code Translation [15.73070332657629]
  大規模言語モデル(LLM)はソフトウェアマイニングにおいて大きな進歩を遂げた。 ソースコードの構文構造を扱うことは 依然として課題です 本稿では、コード構造知識を事前学習したLLMに組み込むために、インコンテキスト学習(ICL)を用いる。
  論文  参考訳（メタデータ） (2025-03-28T10:59:42Z)
• Modularization is Better: Effective Code Generation with Modular Prompting [9.955541341324007]
  本稿では,大規模言語モデルのコード生成性能を向上させるため,MoTと呼ばれる新しいプロンプト手法を提案する。 MoTはモジュール化の原則を利用して、複雑なプログラミング問題をより小さく独立した推論ステップに分解する。 MLRグラフを使用して推論プロセスを構築し、階層的に推論ステップを編成する。
  論文  参考訳（メタデータ） (2025-03-16T12:23:23Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [49.362750475706235]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。