論文の概要: CODE-DITING: A Reasoning-Based Metric for Functional Alignment in Code Evaluation

• arxiv url: http://arxiv.org/abs/2505.19502v1
• Date: Mon, 26 May 2025 04:29:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.17019
• Title: CODE-DITING: A Reasoning-Based Metric for Functional Alignment in Code Evaluation
• Title（参考訳）: CODE-DIING: コード評価における機能アライメントのための推論ベースのメトリクス
• Authors: Guang Yang, Yu Zhou, Xiang Chen, Wei Zheng, Xing Hu, Xin Zhou, David Lo, Taolue Chen,
• Abstract要約: 本稿では,精度,効率,説明性を両立させるコード評価手法であるCODE-DIINGを提案する。 我々は,DeepSeek-R1671BからCODE-DIING 1.5Bおよび7Bモデルへの推論能力を効果的に伝達するデータ蒸留フレームワークを開発した。 推論プロセスにおける過半数の投票戦略により、CODE-DIING 1.5Bは、同じパラメータで全てのモデルを上回ります。
• 参考スコア（独自算出の注目度）: 22.06897150825726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Trustworthy evaluation methods for code snippets play a crucial role in neural code generation. Traditional methods, which either rely on reference solutions or require executable test cases, have inherent limitation in flexibility and scalability. The recent LLM-as-Judge methodology offers a promising alternative by directly evaluating functional consistency between the problem description and the generated code. To systematically understand the landscape of these LLM-as-Judge methods, we conduct a comprehensive empirical study across three diverse datasets. Our investigation reveals the pros and cons of two categories of LLM-as-Judge methods: the methods based on general foundation models can achieve good performance but require complex prompts and lack explainability, while the methods based on reasoning foundation models provide better explainability with simpler prompts but demand substantial computational resources due to their large parameter sizes. To address these limitations, we propose CODE-DITING, a novel code evaluation method that balances accuracy, efficiency and explainability. We develop a data distillation framework that effectively transfers reasoning capabilities from DeepSeek-R1671B to our CODE-DITING 1.5B and 7B models, significantly enhancing evaluation explainability and reducing the computational cost. With the majority vote strategy in the inference process, CODE-DITING 1.5B outperforms all models with the same magnitude of parameters and achieves performance which would normally exhibit in a model with 5 times of parameter scale. CODE-DITING 7B surpasses GPT-4o and DeepSeek-V3 671B, even though it only uses 1% of the parameter volume of these large models. Further experiments show that CODEDITING is robust to preference leakage and can serve as a promising alternative for code evaluation.
• Abstract（参考訳）: コードスニペットの信頼できる評価方法は、ニューラルコード生成において重要な役割を果たす。 従来のメソッドは、参照ソリューションに依存するか、実行可能なテストケースを必要とするが、柔軟性とスケーラビリティに固有の制限がある。 最近のLCM-as-Judge方法論は、問題記述と生成されたコード間の関数的一貫性を直接評価することで、有望な代替手段を提供する。 これらのLCM-as-Judge手法のランドスケープを体系的に理解するために,3つの多様なデータセットを対象とした総合的な実証的研究を行った。 本研究は, LLM-as-Judge法とLLM-as-Judge法の2つのカテゴリの長所と短所を明らかにし, 一般基礎モデルに基づく手法は優れた性能を達成できるが, 複雑なプロンプトが必要であり, 説明性に欠ける。 これらの制約に対処するために,精度,効率,説明可能性のバランスをとる新しいコード評価手法であるCODE-DIINGを提案する。 我々は,DeepSeek-R1671BからCODE-DIING 1.5Bおよび7Bモデルへの推論能力を効果的に伝達するデータ蒸留フレームワークを開発した。 推論プロセスにおける多数決戦略により、CODE-DIING 1.5Bは、同じ大きさのパラメータで全てのモデルを上回り、通常5倍のパラメータスケールのモデルで表されるパフォーマンスを達成する。 CODE-DIING 7B は GPT-4o と DeepSeek-V3 671B を上回っている。 さらなる実験により、CODEDIttingは、リークの好みに頑丈であり、コード評価の有望な代替手段として機能することが示された。

関連論文リスト

• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• A Deep Learning Method for Comparing Bayesian Hierarchical Models [1.6736940231069393]
  本稿では,任意の階層モデルに対してベイズモデルの比較を行う深層学習手法を提案する。 提案手法は,任意の実データアプリケーションに先立って,後続モデル確率の効率的な再推定と高速な性能検証を可能にする。
  論文  参考訳（メタデータ） (2023-01-27T17:27:07Z)
• Sample-Efficient Reinforcement Learning via Conservative Model-Based Actor-Critic [67.00475077281212]
  モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。 本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。 CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-12-16T15:33:11Z)
• Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
  ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。 本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。 提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
  論文  参考訳（メタデータ） (2020-10-07T17:48:12Z)
• MM-KTD: Multiple Model Kalman Temporal Differences for Reinforcement Learning [36.14516028564416]
  本稿では、最適制御ポリシーを学習するための革新的マルチモデルカルマン時間差分(MM-KTD)フレームワークを提案する。 システムのサンプリング効率を高めるために,能動的学習法を提案する。 実験の結果, MM-KTDフレームワークは最先端のフレームワークに比べて優れていた。
  論文  参考訳（メタデータ） (2020-05-30T06:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。