論文の概要: Training-Inference Kernel Contracts: Bounding Divergence in Post-Training and Deployment
- arxiv url: http://arxiv.org/abs/2606.07581v1
- Date: Tue, 26 May 2026 21:48:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.743336
- Title: Training-Inference Kernel Contracts: Bounding Divergence in Post-Training and Deployment
- Title（参考訳）: トレーニング-推論カーネル契約: トレーニング後およびデプロイメントにおける多様性の境界
- Authors: Bruce Changlong Xu, Lan Wu,
- Abstract要約: 現代のポストトレーニングパイプラインは、そのポリシーの1つのシンボルであるpi_thetaを書き、それを2つの異なるプログラムで評価する。
本稿では、K_trainとK_infの相違を許容する契約優先フレームワークであるカーネル契約を提案する。
契約C = (N, S, R, O, Pi) は、数値、統計、実行、可観測性の節と、違反からルーティングアクションへのエスカレーションポリシーを結合する。
- 参考スコア（独自算出の注目度）: 5.442955439283728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A modern post-training pipeline often writes one symbol for its policy, pi_theta, while evaluating it through two different programs: a training kernel optimized for autograd and an inference kernel optimized for low-precision, fused, dynamically batched serving. In finite precision, these kernels can induce different distributions at identical weights, with the gap concentrated on slices that aggregate benchmarks under-represent. This paper proposes kernel contracts: a contract-first framework for specifying acceptable divergence between K_train and K_inf. A contract C = (N, S, R, O, Pi) combines numerical, statistical, runtime, and observability clauses with an escalation policy from violations to routing actions. We derive a chain of bounds from logit drift to total-variation distance to bounded reward drift, and specialize it to RL post-training, where per-token importance-ratio drift yields a bound on policy-gradient bias under explicit support and norm assumptions. We also describe a four-stage promotion pipeline, online routing loop, and minimal YAML DSL for contract artifacts. This is a framework and vocabulary paper; we do not report production-scale empirical validation.
- Abstract（参考訳）: 現代のポストトレーニングパイプラインは、そのポリシーの1つのシンボルであるpi_thetaを書き、オートグレードに最適化されたトレーニングカーネルと、低精度で融合された動的バッチサービスに最適化された推論カーネルという、2つの異なるプログラムを通して評価する。
有限精度では、これらのカーネルは同じ重みで異なる分布を誘導することができ、ギャップはベンチマークを非表現で集約するスライスに集中する。
本稿では、K_trainとK_infの相違を許容する契約優先フレームワークであるカーネル契約を提案する。
契約C = (N, S, R, O, Pi) は、数値、統計、実行、可観測性の節と、違反からルーティングアクションへのエスカレーションポリシーを結合する。
我々は,ロジットドリフトから全変量距離,有界報酬ドリフトまでの境界線を導出し,それをRLポストトレーニングに特化させる。
また、4段階のプロモーションパイプライン、オンラインルーティングループ、契約アーティファクト用の最小限のYAML DSLについても説明します。
これはフレームワークと語彙の論文であり、実運用規模の実証検証は報告していない。
関連論文リスト
- Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳（メタデータ） (2026-05-20T15:14:14Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - Relative Score Policy Optimization for Diffusion Language Models [29.344961499429257]
拡散大言語モデル(dLLMs)は、並列かつ効率的なテキスト生成への有望な経路を提供する。
抽出可能なシーケンスレベルのログ比の欠如により、既存の手法は高分散ELBOベースの近似に頼らざるを得なくなった。
textbfRelative textbfScore textbfPolicy textbfOptimization (RSPO)を提案する。
論文 参考訳（メタデータ） (2026-05-11T08:58:40Z) - Flow Matching Policy with Entropy Regularization [16.47598359293598]
Flow Matching Policy with Entropy Regularization (FMER)は、通常の微分方程式(ODE)ベースのオンラインRLフレームワークである。
FMERは、フローマッチングを通じてポリシーをパラメータ化し、最適な輸送によって動機付けられたストレートな確率経路に沿ってアクションをサンプリングする。
スパースマルチゴールのFrankaKitchenベンチマークの実験は、FMERが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2026-03-18T13:00:20Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。
重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。
実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
論文 参考訳（メタデータ） (2026-03-03T23:51:10Z) - VESPO: Variational Sequence-Level Soft Policy Optimization for Stable Off-Policy LLM Training [18.849117699859622]
訓練安定性は、大規模言語モデルの強化学習における中心的な課題である。
変動周波数レベルのソフトポリシー最適化(VESPO)を提案する。
数学的推論ベンチマークの実験では、VESPOは安定なトレーニングを64倍の安定度と完全な非同期実行で維持している。
論文 参考訳（メタデータ） (2026-02-11T09:48:08Z) - Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。
我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。
一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
論文 参考訳（メタデータ） (2026-01-13T10:46:06Z) - Distributed Training under Packet Loss [8.613477072763404]
信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。
そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。
この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
論文 参考訳（メタデータ） (2025-07-02T11:07:20Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。