論文の概要: Sharpening Tax in Post-Training

• arxiv url: http://arxiv.org/abs/2610.01509v1
• Date: Thu, 01 Oct 2026 11:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.095709
• Title: Sharpening Tax in Post-Training
• Title（参考訳）: 税制改革と税制改革
• Abstract要約: 大規模言語モデルのポストトレーニングは、ソリューションカバレッジのコストでシングルショット精度を向上させる。 ポストトレーニングはタスクを2つの極端にプッシュし、常に解決されるか、解決されないかを示し、サンプリング効率と一貫性を向上させる。
• 参考スコア（独自算出の注目度）: 19.949493634049876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An emerging hypothesis about reinforcement learning (RL) post-training of large language models (LLMs) is that it merely sharpens existing behaviors of a base model, improving single-shot accuracy at the cost of solution coverage. Although this trade-off has been observed in math and coding tasks, it need not extend to agentic tasks, where multi-turn tool use and interaction may require capabilities newly acquired during post-training. Our surprising finding is that pre-trained LLMs, equipped with a light inference harness, can serve as capable agents. Despite far lower accuracy (pass@1), they often surpass their post-trained counterparts in solution coverage (pass@K) given a sufficient test-time budget. We further analyze the underlying mechanism and show that post-training pushes tasks toward two extremes, always solved or never solved, and thereby improves sampling efficiency and consistency at the cost of solution coverage. To measure this cost, we propose Sharpening Tax, a diagnostic metric that quantifies the loss in test-time scalability after post-training. Across 14 base/post-trained model pairs from four families and three agentic benchmarks (42 cases in total), the tax is prevalent in most settings, can be estimated from a few rollouts, and correlates well with other metrics. Finally, we present posterior-tempered group sampling (PTGS), a simple plug-and-play Bayesian sampler that adapts the sampling temperature per prompt to its estimated difficulty. Applied during RL training in two agentic environments, PTGS pays a smaller tax than the fixed-temperature baseline, solving more tasks under repeated sampling while also improving single-shot accuracy.
• Abstract（参考訳）: 大規模言語モデル(LLM)の強化学習(RL)後トレーニングに関する新たな仮説は、単にベースモデルの既存の振る舞いを研ぎ、ソリューションカバレッジのコストでシングルショット精度を向上させるだけである。 このトレードオフは数学やコーディングタスクで観測されているが、マルチターンツールの使用やインタラクションがポストトレーニング中に新たに取得される機能を必要とするようなエージェントタスクにまで拡張する必要はない。 我々の驚くべき発見は、光推論ハーネスを備えた事前訓練されたLSMが、有能なエージェントとして機能できることである。 はるかに低い精度 (pass@1) にもかかわらず、十分なテストタイム予算が与えられた場合、ソリューションカバレッジ (pass@K) において、トレーニング後のものを上回ることが多い。 さらにそのメカニズムを解析し,課題を2つの極端へ押し上げ,常に解決されるか,解決されないかを示し,その結果,ソリューションカバレッジのコストでサンプリング効率と一貫性を向上させる。 このコストを測定するために,テスト後のスケーラビリティの損失を定量化する診断指標であるシャープニング税を提案する。 4つのファミリーと3つのエージェントベンチマーク(合計42ケース)から14組のベース/ポストトレーニングモデルペアに対して、ほとんどの設定で税が一般的であり、いくつかのロールアウトから推定でき、他のメトリクスとよく相関する。 最後に, 簡易なプラグアンドプレイ型ベイズサンプリング装置であるPTGSについて検討した。 2つのエージェント環境でのRLトレーニングにおいて、PTGSは固定温度ベースラインよりも小さな税金を支払い、反復サンプリングの下でより多くのタスクを解決し、シングルショット精度を向上させる。

関連論文リスト

• Beyond Solvability: Task Learnability as a Static Prior for LLM RL Post-Training [52.78248352851176]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルにおける推論能力を引き出すための訓練後のパラダイムである。 本研究では,この残差軸をタスク学習可能性として検討する。 そこで我々はTrajValを提案する。TrajValは、短いプローブランと2つのエンドポイント評価からタスク毎の学習可能性を近似する軽量なプローブベース推定器である。
  論文  参考訳（メタデータ） (2026-08-10T07:43:05Z)
• SWE-QA-Pro: A Representative Benchmark and Scalable Training Recipe for Repository-Level Code Understanding [41.98672557723593]
  SWEQA-Proは,多種多様な長期リポジトリと実行可能な環境から構築されたベンチマークである。 さらに,2段階のトレーニングレシピであるSupervised Fine-Tuning(SFT)とReinforcement Learning from AI Feedback(RLAIF)という,スケーラブルな合成データパイプラインを提案する。 SWE-QA-ProのGPT-4oを2.3ポイント超え、最先端モデルとのギャップを大幅に狭める。
  論文  参考訳（メタデータ） (2026-03-17T05:12:48Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
  本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。 我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。 オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T23:50:46Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Making Pre-trained Language Models both Task-solvers and Self-calibrators [52.98858650625623]
  プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。 以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。 課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:51:41Z)
• Early Weight Averaging meets High Learning Rates for LLM Pre-training [20.671831210738937]
  高い学習率で訓練されたモデルは、チェックポイント平均化により、より高い利得を観測できることを示す。 トレーニングレシピは、従来のトレーニングと一般的なチェックポイント平均基準よりも優れています。
  論文  参考訳（メタデータ） (2023-06-05T20:51:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。