論文の概要: Probe the Harness: Setup Checks for Stale-Data RL Comparisons in Language Models

• arxiv url: http://arxiv.org/abs/2610.02911v1
• Date: Fri, 02 Oct 2026 07:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.249948
• Title: Probe the Harness: Setup Checks for Stale-Data RL Comparisons in Language Models
• Title（参考訳）: Probe the Harness: 言語モデルにおける静的データRL比較のセットアップチェック
• Abstract要約: 言語モデルの訓練方法は、重要訂正ベースラインとの比較によって判断される。 実験用ハーネスの詳細は,観測された手法のランキングを逆転させることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Methods for training language models on stale samples are judged by comparisons against importance-corrected baselines. We show that details of the experimental harness can reverse the observed ranking of methods, and we introduce PTH (Probe The Harness), a set of checks that makes the harness visible. Our case is a comparison between SAN, a behaviour-free method, and truncated importance sampling (TIS) on verl and in a single-GPU trainer, in which SAN first finished ahead in both stacks. Four details of the harness changed this comparison: the PPO ratio was taken against the learner's own recomputed probabilities, the data seed did not reach the TIS arm, the replay queue reused its first batch for 33 updates, and two loss normalisers differed from their description. In each case the logged quantity looked consistent with a working setup, while the quantity that defines the comparison went unchecked. With the harness checked, TIS matches SAN on verl, and in the trainer TIS learns steadily while SAN keeps a margin. We contribute the signature of each detail and its effect on the comparison, reference results for TIS and uncorrected GRPO under sampler lag, and the PTH checklist.
• Abstract（参考訳）: 古いサンプルに対する言語モデルの訓練方法は、重要訂正ベースラインとの比較によって判断される。 実験ハーネスの詳細は,観測された手法のランキングを逆転させることができることを示すとともに,ハーネスを目に見えるものにするためのチェックセットであるPTH(Probe The Harness)を導入する。 本稿では,動作自由法であるSANと,Verl上のTIS(truncated importance sample)と,SANが両スタックで最初に先行したシングルGPUトレーナーとの比較を行った。 PPO比は学習者の再計算確率に対して、データシードはTISアームに届かず、リプレイキューは33回の更新で最初のバッチを再利用し、2回の損失正規化を行った。 それぞれのケースでは、ログ化された量は作業のセットアップと一致し、比較を定義する量は未確認でした。 ハーネスをチェックすると、TISはバールでSANと一致し、トレーナーのTISはSANがマージンを維持している間に着実に学習する。 我々は,各ディテールの署名とその比較効果,サンプルラグ下におけるTISおよび未修正GRPOの基準結果,およびPTHチェックリストに寄与する。

関連論文リスト

• Can Training Logs Make Model Comparisons More Precise? [0.0]
  同じ実行からログをトレーニングすることで、そのような比較がより正確になるかどうかを調査する。 初期のトレーニングログに基づく簡単な調整は、しばしばモデル比較の不確実性を減少させる。 トレーニングログは、より正確なモデル比較に有用であるが、調整が大きな選択ノイズを避ける場合に限られる。
  論文  参考訳（メタデータ） (2026-08-03T16:08:14Z)
• Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling [29.008352630270192]
  2つの判断空間から自己学習を行うフレームワークであるDuST(Dual Self-Training)を導入する。 我々は、DuSTがLiveCodeBenchのBest-of-4テストタイムスケーリングを継続的に改善していることを示します。 LiveCodeBench v6のQwen3-30B-Thinkingでは、判定品質が+6.2 NDCG、シングルサンプルパス@1が+3.1、Best-of-4の精度が+4.1向上している。
  論文  参考訳（メタデータ） (2026-05-11T22:34:45Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• An analysis of over-sampling labeled data in semi-supervised learning with FixMatch [66.34968300128631]
  ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。 本稿では,この実践が学習と方法を改善するかどうかを考察する。 ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
  論文  参考訳（メタデータ） (2022-01-03T12:22:26Z)
• Two-Sample Testing on Ranked Preference Data and the Role of Modeling Assumptions [57.77347280992548]
  本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。 私たちのテストでは、基本的に分布に関する仮定は必要ありません。 実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
  論文  参考訳（メタデータ） (2020-06-21T20:51:09Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。