論文の概要: LLM Post-Training as Brownfield Maintenance: An Industrial Perspective on Dataware Engineering
- arxiv url: http://arxiv.org/abs/2608.31102v1
- Date: Mon, 31 Aug 2026 17:08:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.533885
- Title: LLM Post-Training as Brownfield Maintenance: An Industrial Perspective on Dataware Engineering
- Title（参考訳）: ブラウンフィールド保守としてのLLMポストトレーニング--データウェアエンジニアリングの産業的展望
- Abstract要約: 私たちは、この作業が実際に難しい理由について、メンテナの視点を提供しています。
本研究は, 教員の蒸留を使用可能なトレーニングデータに転換する介入を2.84倍に増やした。
- 参考スコア（独自算出の注目度）: 7.441501223058311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Industrial post-training is a brownfield regime. Teams inherit a deployed checkpoint and must land targeted improvements under fixed compute and mixture budgets without regressing the rest. The maintained artifact is increasingly dataware: behavior governed by a curated post-training mixture, updated via bounded mixture patches rather than clean-slate retraining. From an industrial code-generation improvement effort, we offer a maintainer's perspective on why this work is hard in practice, distilling three recurring challenges, zero-sum mixture design, yield as the binding metric, and end-to-end integration under uncertainty, and arguing that progress depends less on one-off recipes than on an engineering discipline for programming dataware. In our case study, interventions that raised the conversion of teacher distillation into usable training data increased accepted supervision by 2.84 times while using the same solution teacher and four solution attempts per candidate problem. In our primary evaluation, the yield-engineered patch improved CodeForces pass@1 by +2.59 points (+3.11 pass@3) and held-out LiveCodeBench v6 pass@1 by +6.11 (+8.05 pass@3), all statistically significant across 16 stochastic evaluations of each benchmark from one fixed checkpoint per condition, with internal AIME and MATH regression suites within tolerance.
- Abstract（参考訳）: 工業ポストトレーニングはブラウンフィールドの制度である。
チームは、デプロイされたチェックポイントを継承し、目標とする改善を、残りの部分を後退させることなく、固定された計算と混合の予算の下で実施しなければならない。
保守されたアーティファクトはますますデータウェアであり、キュレート後の混合によって管理される振る舞いは、クリーンスレートのリトレーニングではなく、バウンドミキシングパッチによって更新される。
産業用コード生成改善の取り組みから、この作業が実際なぜ難しいのかをメンテナの視点で説明し、ゼロサム混合設計、バインディングメトリックとしての収量、不確実性の下でのエンドツーエンドの統合という3つの繰り返しの課題を抽出し、進歩はデータウェアのプログラミング技術分野よりもワンオフレシピに依存しないと主張した。
本研究は,教師の蒸留法を教育用トレーニングデータに転換する際の介入について,同じ解法教師と4つの解法試行を用いて2.84回実施した。
主要な評価では、CodeForces pass@1を2.59ポイント(+3.11 pass@3)で改善し、LiveCodeBench v6 pass@1を+6.11(+8.05 pass@3)で保持した。
関連論文リスト
- Cross-Benchmark Generalization in Long-Horizon Agents [1.0742728354283815]
我々は,27のカテゴリにわたる363の長距離モデルコンテキストプロトコル(MCP)タスク上で,オープンウェイト・ミックス・オブ・エキスパート・モデルを構築した。
トレーニングには外部ベンチマークタスクやグレーダが入らず、報酬、ハイパーパラメータのトレーニング、トレーニングされたチェックポイントの選択、停止を外部スコアが知らせなかった。
両方のソフトウェアベンチマークは、ソフトウェアエンジニアリングタスクを含まないトレーニングコレクションにもかかわらず改善されている。
論文 参考訳（メタデータ） (2026-07-31T18:05:36Z) - Reinforcement Learning without Ground-Truth Solutions can Improve LLMs [47.0243847990524]
LLMを訓練するための検証可能な報酬(RLVR)による強化学習は、典型的には報酬を割り当てるために根底からの回答に依存している。
我々は,スコアベース最適化タスクにLLMをトレーニングするtextbfRanking-textbf誘発のtextbfverible framework (RiVER)を導入する。
論文 参考訳（メタデータ） (2026-06-25T17:59:36Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition [10.882920019894451]
ゼロ逆問題に対する学習時間分解フレームワークTD-Grokkingを提案する。
TD-Grokking はバニラGRPO と全てのベースラインアプローチに優れることを示す。
論文 参考訳（メタデータ） (2026-06-03T06:40:04Z) - Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。
自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。
プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。
トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
論文 参考訳（メタデータ） (2026-05-20T17:26:10Z) - ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload [18.933354857797056]
大規模GPUクラスタ上での大規模言語モデルの事前トレーニングは、ハードウェア障害を稀ではなく日常的なものにしている。
一つの不変量を保持するレジリエントな事前学習システムであるReCoVerを提案する。
チェックポイントとリスタートのベースラインと比較して、ReCoVerは連続する障害の後、より効果的なスループットを2.23タイムで示す。
論文 参考訳（メタデータ） (2026-05-11T20:28:31Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
既存の手法が見落としている根本原因を同定する。
現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。
非対称信頼度を考慮した誤り罰(ACE)を提案する。
論文 参考訳（メタデータ） (2026-02-24T22:46:43Z) - PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。
現在の検証器は、しばしば導出欠陥を検出するのに失敗する。
本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2026-02-12T04:45:01Z) - Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである
我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文 参考訳（メタデータ） (2025-06-17T17:12:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。