論文の概要: Train What You Deploy:Token-Faithful Post-Training of a Production Coding

• arxiv url: http://arxiv.org/abs/2609.04678v1
• Date: Fri, 04 Sep 2026 03:11:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.899696
• Title: Train What You Deploy:Token-Faithful Post-Training of a Production Coding
• Title（参考訳）: デプロイするものを訓練する:生産コーディングの学習に富むToken-Faithful
• Abstract要約: コーディングと終端エージェントのための既存のトレーニング後のパイプラインは、深刻なトークンを被り、忠実度エラーを制御する。 本稿では,練習者側サンプリングを元のプロンプト上で保持する忠実度対応型トレーニング結合フレームワークを提案する。 本稿では,C-DPPO(Certified Divergence Proximal Policy Optimization, C-DPPO)を提案する。
• 参考スコア（独自算出の注目度）: 5.0244983708609325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing post-training pipelines for coding and terminal agents suffer severe token and control fidelity errors: simplified training environments mismatch production deployments, and offline token reconstruction from agent logs distorts original prompts and conflates policy calls with background model operations. We present a fidelity-aware training coupling framework that retains trainer-side sampling over original prompts, eliminates spurious model calls via a negotiated training protocol, and restricts loss computation to verifiable token spans with closed-failure guarantees. We further propose Certified Divergence Proximal Policy Optimization (C-DPPO), which establishes tight two-sided TV certification bounds, adaptive-K rules, budget-aware sequence guarantees, and error-robust policy masking atop standard DPPO. Evaluated on matched Baize5B and Baize10B models with identical training and test protocols on TMax-100, C-DPPO yields a consistent +3.0-point performance gain over standard DPPO across model scales. Certificate audits validate the reliability and full operational coverage of our certified training pipeline.
• Abstract（参考訳）: 既存のコーディングとターミナルエージェントのトレーニング後のパイプラインは、単純なトレーニング環境のミスマッチプロダクションデプロイメント、エージェントログからのオフライントークン再構築によって、オリジナルのプロンプトを歪め、バックグラウンドモデル操作とポリシー呼び出しを混同するなど、深刻なトークンとコントロールフィデリティエラーに悩まされている。 本稿では,オリジナルプロンプトに対するトレーナー側サンプリングを継続し,交渉したトレーニングプロトコルによる素早いモデル呼び出しを排除し,損失計算をクローズドフェイル保証付きで検証可能なトークンに制限する,忠実度対応型トレーニング結合フレームワークを提案する。 さらに,C-DPPO(Certified Divergence Proximal Policy Optimization, C-DPPO)を提案する。 TMax-100で同一のトレーニングとテストプロトコルを持つBaize5BモデルとBaize10Bモデルで評価すると、C-DPPOはモデルスケールで標準DPPOよりも一貫した+3.0ポイントの性能向上が得られる。 認定監査は、認定されたトレーニングパイプラインの信頼性と完全な運用範囲を検証するものです。

関連論文リスト

• Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
  強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。 我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-29T00:19:09Z)
• TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
  ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。 本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T07:15:43Z)
• ChipMATE: Multi-Agent Training via Reinforcement Learning for Enhanced RTL Generation [55.947962672433675]
  ChipMATEは、RTL生成のための最初の自己学習型マルチエージェントフレームワークである。 ChipMATEは産業的な実践に触発され、VerilogエージェントとPythonのリファレンスモデルエージェントをペアにし、相互に出力を検証する。 ChipMATEは、VerilogEval V2で75.0%と80.1%パス@1を4Bと9Bベースモデルで達成している。
  論文  参考訳（メタデータ） (2026-05-13T01:04:21Z)
• Partial Model Sharing Improves Byzantine Resilience in Federated Conformal Prediction [6.066028939131919]
  本稿では, 部分的モデル共有を利用するビザンチン耐性連邦共形予測法を提案する。 トレーニング中、部分的な共有は本質的に攻撃面を制限し、有毒な更新を減衰させる。 キャリブレーション中、クライアントは非整合性のスコアをヒストグラムに基づく特徴ベクトルに圧縮する。
  論文  参考訳（メタデータ） (2026-05-12T07:42:20Z)
• Interactive Critique-Revision Training for Reliable Structured LLM Generation [18.00222080273147]
  DPA-GRPOは,構成された検証器の介入による2人プレイヤジェネレータゲームのためのペアアクショントレーニング手法である。 我々は,非正規化ゲームを分析し,厳格に低いリワード介入やリビジョン行動に対する肯定的な確率が,一側偏差を生み出すことを示す。 TaxCalc TY24の実験では、DPA-GRPOはゼロショット生成とジェネレータのみのRLベースラインよりも構造化された決定精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-08T17:00:38Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
  分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。 重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。 実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
  論文  参考訳（メタデータ） (2026-03-03T23:51:10Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Safe and Compliant Cross-Market Trade Execution via Constrained RL and Zero-Knowledge Audits [0.5586191108738564]
  本稿では、厳格なコンプライアンスの実施と実行品質のバランスをとるクロスマーケットアルゴリズムトレーディングシステムを提案する。 アーキテクチャは、高レベルプランナー、強化学習実行エージェント、独立コンプライアンスエージェントを含む。 対t検定による95%信頼度レベルへの影響を報告し,CVaRによる尾部リスクの検討を行った。
  論文  参考訳（メタデータ） (2025-10-06T15:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。