論文の概要: Sharpen Before You Adapt: Data-Free Entry-State Sharpening for Test-Time Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.00903v1
• Date: Thu, 01 Oct 2026 01:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.840282
• Title: Sharpen Before You Adapt: Data-Free Entry-State Sharpening for Test-Time Reinforcement Learning
• Title（参考訳）: 適応前のシャープ:テスト時間強化学習のためのデータフリーなエントリーステートシャープニング
• Abstract要約: テスト時強化学習は、自身のサンプルから導かれた監督を用いて、ラベルのないテスト問題に言語モデルを適用する。 我々は,データフリーなトレーニング環境であるTTRLを用いて,ラベルなし適応がより効率的に活用できる状態の汎用チェックポイントを作成することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time reinforcement learning (TTRL) adapts language models on unlabeled test problems using supervision derived from their own samples. This makes the checkpoint's \emph{entry state} consequential: a diffuse policy provides noisier self-supervision and may spend much of a limited adaptation budget merely concentrating probability mass before reliably expressing capability it already possesses. We propose \textbf{entry-state sharpening}: use data-free training \emph{before} TTRL to prepare a general-purpose checkpoint in a state that subsequent label-free adaptation can exploit more efficiently. The idea is not tied to one training recipe; different data-free objectives can move the same base model to different entry states. Across five data-free checkpoints derived from Qwen3-4B and evaluated under an identical 15-step TTRL protocol, entry policy entropy strongly rank-orders endpoint conversion efficiency, a reliability-to-reachability measure (Spearman $ρ=-0.90$; $ρ=-0.99$ after controlling for entry reachability). The contrast across objectives is striking: R-Zero remains diffuse at $3.39$ nats and finishes below the untuned base in 6/6 matched comparisons across MATH, GPQA, and AMC, whereas SPIRAL reaches $0.07$ nats and achieves the highest post-TTRL accuracy on MATH and GPQA despite its self-play stage using no math training data. An in-domain label-free self-distillation intervention further shows that the entry state can be deliberately sharpened. These results motivate treating checkpoint preparation as a \emph{state-control problem}: use data-free training to improve TTRL readiness, with entry entropy as a label-free control signal and reachable capability as the constraint.
• Abstract（参考訳）: テスト時間強化学習(TTRL)は、言語モデルを用いて、自身のサンプルから導出したインスペクションを用いて、ラベルのないテスト問題に適応する。 このことは、チェックポイントの 'emph{entry state} を連続させる: 拡散ポリシーは、よりノイズの多い自己超越を提供し、既に持っている能力を確実に表現する前に、単に確率質量を集中させるだけの限定的な適応予算の多くを費やす可能性がある。 本稿では,データフリートレーニングであるemph{before} TTRLを用いて,ラベルなし適応がより効率的に活用できる状態の汎用チェックポイントを作成することを提案する。 異なるデータフリーの目的は、同じベースモデルを異なるエントリ状態に移行することができる。 Qwen3-4Bから派生し、15ステップのTTRLプロトコルで評価された5つのデータフリーチェックポイントのうち、エントリポリシーエントロピーはエンドポイント変換効率を強くランク付けする(Spearman $ρ=-0.90$; $ρ=-0.99$)。 R-Zero は 3.39$ nats で拡散し、MATH、GPQA、AMC で一致した6/6で未調整のベース以下で終了するが、SPIRAL はMATH、GPQA、AMCで0.07$ natsに達し、MATH、GPQA での自己学習段階にもかかわらず最高TTRL 後の精度を達成している。 さらに、ドメイン内ラベルのない自己蒸留介入により、エントリ状態が故意にシャープできることが示される。 これらの結果は,チェックポイント作成をデータフリートレーニングを用いてTTRLの可読性を向上させること,ラベルフリー制御信号としてエントリエントロピー,制約として到達可能な能力,といった,チェックポイント作成を「emph{state-control problem」として動機付ける。

関連論文リスト

• $T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training [38.44142588468548]
  既存のグループ相対法では、コストがかかる。 単一生成軌道からトークンレベルの利点を校正するツインクリティカルな方法であるtfourを提案する。 実験の結果、最先端の批判のない手法と比較して、tfourは平均ベンチマーク性能を7.8%改善し、平均トレーニングステップ時間を63.4%削減した。
  論文  参考訳（メタデータ） (2026-09-26T17:07:57Z)
• Certified Safety Curation: Distribution-Free Guarantees for Safe Offline Reinforcement Learning [0.0]
  Filter-then-cloneパイプライン: セグメント比較からトレーニングされた状態のみの値が、すべてのトラジェクトリをスコアする。 我々は、オフラインのRLや模倣のためのトレーニングセットの構成を認定する事前の作業について知りません。
  論文  参考訳（メタデータ） (2026-09-10T06:45:32Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Causal Label Recovery in Payment Networks [0.0]
  支払いネットワークにおける不正検出モデルは、体系的にバイアスのあるチャージバックラベルでトレーニングする。 共用紙 [arXiv05:26.27557] は、これらの4つの障害が検出性能に最小限の上限を課すことを示した。 観測パイプラインを3段階, 破損層を有する逐次欠落データ問題として定式化し, 逐次トリプライロバスト推定器を構築した。
  論文  参考訳（メタデータ） (2026-05-28T02:43:34Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Self-Calibrating Language Models via Test-Time Discriminative Distillation [18.46710400838861]
  大規模言語モデル(LLM)は、しばしば間違って答える質問に対して体系的に過度に信頼されている。 我々は、テスト時間トレーニング(TTT)パイプラインである$textbfSECL$ ($textbfSE$lf-$textbfC$alibrating $textbfL$anguage Modelsを紹介します。
  論文  参考訳（メタデータ） (2026-03-18T13:28:50Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。