論文の概要: CoDA: Coding LM via Diffusion Adaptation
- arxiv url: http://arxiv.org/abs/2510.03270v1
- Date: Sat, 27 Sep 2025 05:41:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:58.628285
- Title: CoDA: Coding LM via Diffusion Adaptation
- Title（参考訳）: CoDA:拡散適応によるLM符号化
- Authors: Haolin Chen, Shiyu Wang, Can Qin, Bo Pang, Zuxin Liu, Jielin Qiu, Jianguo Zhang, Yingbo Zhou, Zeyuan Chen, Ran Xu, Shelby Heinecke, Silvio Savarese, Caiming Xiong, Huan Wang, Weiran Yao,
- Abstract要約: CoDAは、コード中心のミッドトレーニングとインストラクションチューニングによる大規模な拡散事前トレーニングをペアリングする。
Humaneval、MBPP、EvalPlusでは、CoDA-1.7B-Instructは最大7Bパラメータの拡散モデルに一致するか、超える。
- 参考スコア（独自算出の注目度）: 102.62730448092888
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion language models promise bidirectional context and infilling capabilities that autoregressive coders lack, yet practical systems remain heavyweight. We introduce CoDA, a 1.7B-parameter diffusion coder trained on TPU with a fully open-source training pipeline. CoDA pairs large-scale diffusion pre-training with code-centric mid-training and instruction tuning, enabling confidence-guided sampling that keeps inference latency competitive. On Humaneval, MBPP, and EvalPlus, CoDA-1.7B-Instruct matches or surpasses diffusion models up to 7B parameters. Our release includes model checkpoints, evaluation harnesses, and TPU training pipelines to accelerate research on lightweight diffusion-based coding assistants.
- Abstract（参考訳）: 拡散言語モデルは、自動回帰コーダに欠けている双方向のコンテキストとインフィル機能を約束するが、実用的なシステムは重いままである。
我々は、TPUでトレーニングされた1.7Bパラメータ拡散コーダであるCoDAを、完全にオープンソースのトレーニングパイプラインで紹介する。
CoDAは、コード中心のミッドトレーニングとインストラクションチューニングによる大規模な拡散事前トレーニングと組み合わせて、推論レイテンシの競争力を維持する信頼性誘導サンプリングを実現する。
Humaneval、MBPP、EvalPlusでは、CoDA-1.7B-Instructは最大7Bパラメータの拡散モデルに一致するか、超える。
我々のリリースには、軽量拡散型コーディングアシスタントの研究を加速するためのモデルチェックポイント、評価ハーネス、TPUトレーニングパイプラインが含まれています。
関連論文リスト
- Align Your Tangent: Training Better Consistency Models via Manifold-Aligned Tangents [55.43139356528315]
一貫性モデル(CM)は、フロー常微分方程式の軌跡に一貫性があるように訓練される。
CMは典型的には、競争力のあるサンプルの品質を得るために、大きなバッチサイズで長期のトレーニングを必要とする。
本稿では,データ多様体に向いた多様体整列接点を提供する,MFDと呼ばれる新しい損失関数を提案する。
論文 参考訳（メタデータ） (2025-10-01T08:35:18Z) - Dream-Coder 7B: An Open Diffusion Language Model for Code [99.14959222355988]
そこで,Dream-Coder 7Bを提案する。Dream-Coder 7Bは,任意の順序生成能力を示すコード生成のための,オープンソースの離散拡散言語モデルである。
厳密に左から右にデコードする従来の自己回帰(AR)モデルとは異なり、ドリームコーダ7Bはコーディングタスクに基づいてデコード戦略を適応的に決定する。
論文 参考訳（メタデータ） (2025-09-01T05:30:56Z) - Conditional Adapters: Parameter-efficient Transfer Learning with Fast
Inference [53.65845680932835]
Conditional Adapter (CoDA) はパラメータ効率の変換学習手法であり、推論効率も向上する。
様々な言語、ビジョン、音声タスクにおいて、CoDAは2倍から8倍の推論スピードアップを達成する。
論文 参考訳（メタデータ） (2023-04-11T03:17:37Z) - Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.194184241363175]
本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。
DDAEはすでに、補助エンコーダを使わずに、中間層内で線形分離可能な表現を強く学習している。
CIFAR-10 と Tiny-ImageNet の線形評価精度は95.9% と 50.0% である。
論文 参考訳（メタデータ） (2023-03-17T04:20:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。