論文の概要: State-of-the-art Small Language Coder Model: Mify-Coder
- arxiv url: http://arxiv.org/abs/2512.23747v1
- Date: Fri, 26 Dec 2025 18:16:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.132714
- Title: State-of-the-art Small Language Coder Model: Mify-Coder
- Title(参考訳): 最先端の小型言語コーダモデル:Mify-Coder
- Abstract要約: Mify-Coderは同等の精度と安全性を達成しつつ、標準的なコーディングと関数呼び出しベンチマークのベースラインモデルを大幅に上回っている。
私たちのトレーニングパイプラインは、高品質なキュレートされたソースと、エージェント設計のプロンプトによって生成された合成データを組み合わせています。
量子化されたMify-Coderは、特別なハードウェアを必要としない標準的なデスクトップ環境へのデプロイを可能にする。
- 参考スコア(独自算出の注目度): 4.57001984042699
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Mify-Coder, a 2.5B-parameter code model trained on 4.2T tokens using a compute-optimal strategy built on the Mify-2.5B foundation model. Mify-Coder achieves comparable accuracy and safety while significantly outperforming much larger baseline models on standard coding and function-calling benchmarks, demonstrating that compact models can match frontier-grade models in code generation and agent-driven workflows. Our training pipeline combines high-quality curated sources with synthetic data generated through agentically designed prompts, refined iteratively using enterprise-grade evaluation datasets. LLM-based quality filtering further enhances data density, enabling frugal yet effective training. Through disciplined exploration of CPT-SFT objectives, data mixtures, and sampling dynamics, we deliver frontier-grade code intelligence within a single continuous training trajectory. Empirical evidence shows that principled data and compute discipline allow smaller models to achieve competitive accuracy, efficiency, and safety compliance. Quantized variants of Mify-Coder enable deployment on standard desktop environments without requiring specialized hardware.
- Abstract(参考訳): 我々は,Mify-2.5Bファンデーションモデル上に構築された計算最適化戦略を用いて,4.2Tトークン上でトレーニングされた2.5BパラメータコードモデルであるMify-Coderを提案する。
Mify-Coderは同等の精度と安全性を達成しつつ、標準的なコーディングと関数呼び出しベンチマークのベースラインモデルを大幅に上回っており、コンパクトモデルがコード生成とエージェント駆動ワークフローのフロンティアグレードモデルと一致することを実証している。
我々のトレーニングパイプラインは、高品質なキュレートされたソースと、エージェント設計のプロンプトから生成された合成データを組み合わせて、企業レベルの評価データセットを使用して反復的に洗練する。
LLMベースの品質フィルタリングは、データ密度をさらに高め、フランガルで効果的なトレーニングを可能にする。
CPT-SFTの目的、データ混合物、サンプリングダイナミクスの規律的な探索を通じて、1つの連続トレーニング軌道内でフロンティアグレードのコードインテリジェンスを提供する。
実証的な証拠は、原則化されたデータと計算の規律によって、より小さなモデルで競合する精度、効率、安全性のコンプライアンスを達成できることを示している。
量子化されたMify-Coderは、特別なハードウェアを必要としない標準的なデスクトップ環境へのデプロイを可能にする。
関連論文リスト
- KAT-Coder-V2.5 Technical Report [61.907486544595336]
KAT-Coder-V2.5は、実際の実行可能リポジトリ内で自律的に動作するよう訓練されたコーディング中心のエージェントモデルである。
マルチ言語リポジトリをサンドボックス環境に再構築し、フェイル・ツー・パスとパス・ツー・パスの検証を大規模に行う。
我々はさらに、ハーネスランダム化による強化学習、信頼性の強化されたサンドボックス、非対称なアクター-クリティックPPO、およびハイチ指向の報酬フレームワークをスケールする。
論文 参考訳(メタデータ) (2026-07-06T08:14:02Z) - Hybrid Distillation with CoT Guidance for Edge-Drone Control Code Generation [18.74352644644387]
本稿では,UAVマルチSDK制御タスクにおける知識蒸留,チェーン・オブ・ソート・ガイダンス,教師付き微調整を組み合わせた統合的アプローチを提案する。
実験結果から, 蒸留した軽量モデルは, 高いコード生成精度を維持しつつ, 展開効率と推論効率を著しく向上することがわかった。
論文 参考訳(メタデータ) (2026-01-13T10:31:09Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳(メタデータ) (2025-10-02T06:25:10Z) - SynthCoder: A Synthetical Strategy to Tune LLMs for Code Completion [7.668823606571788]
コード補完は、ソフトウェア工学における大規模言語モデル(LLM)の顕著な応用である。
本稿では,Fill-in-the-Middle(FIM)コード補完タスクにおける最先端技術を実現するために,業界をリードするプラクティスを統合するモデルであるSynthCoderを提案する。
論文 参考訳(メタデータ) (2025-08-21T12:23:49Z) - Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。
本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。
経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
論文 参考訳(メタデータ) (2025-06-20T00:17:14Z) - Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。
Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。
Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
論文 参考訳(メタデータ) (2025-05-29T11:40:34Z) - Every Sample Matters: Leveraging Mixture-of-Experts and High-Quality Data for Efficient and Accurate Code LLM [43.77512279007385]
Ling-Coder-Liteは、包括的なパフォーマンスと究極の効率を備えた、コード大言語モデルである。
我々は、高品質なデータキュレーション手法とともに、効率的なMixture-of-Experts(MoE)アーキテクチャを活用する。
Ling-Coder-Liteは、同じサイズの最先端モデルと比較して、12の代表的なコーディングベンチマークでオンパーパフォーマンスを示す。
論文 参考訳(メタデータ) (2025-03-22T15:00:18Z) - Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。
RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。
RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
論文 参考訳(メタデータ) (2025-01-31T17:19:57Z) - MERLOT: A Distilled LLM-based Mixture-of-Experts Framework for Scalable Encrypted Traffic Classification [19.476061046309052]
本稿では,暗号化されたトラフィック分類に最適化された蒸留大言語モデルのスケーラブルな混合実験(MoE)による改良について述べる。
10のデータセットの実験では、最先端モデルよりも優れた、あるいは競合的なパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-11-20T03:01:41Z) - ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation [9.409062607311528]
大規模言語モデル(LLM)は優れた性能を示しており、研究者はレジスタ転送レベル(RTL)コード生成の自動化に利用することを模索している。
RTL生成のためのファインチューンLSMへの既存のアプローチは、通常、固定データセット上で実行される。
ITERTLと呼ばれる反復的なトレーニングパラダイムを導入し、これらの問題を緩和する。
我々のモデルは GPT4 と State-of-the-art (SOTA) のオープンソースモデルより優れており、VerilogEval- Human ベンチマークでは 53.8% のパス@1 レートを達成した。
論文 参考訳(メタデータ) (2024-06-28T01:44:57Z) - M2CVD: Enhancing Vulnerability Semantic through Multi-Model Collaboration for Code Vulnerability Detection [52.4455893010468]
大規模言語モデル(LLM)は、コード理解において強力な能力を持つが、微調整コストとセマンティックアライメントの問題により、プロジェクト固有の最適化が制限される。
CodeBERTのようなコードモデルは微調整が容易であるが、複雑なコード言語から脆弱性のセマンティクスを学ぶことはしばしば困難である。
本稿では,M2CVD(Multi-Model Collaborative Vulnerability Detection)手法を提案する。
論文 参考訳(メタデータ) (2024-06-10T00:05:49Z) - SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。
FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
論文 参考訳(メタデータ) (2024-03-23T14:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。