論文の概要: Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces

• arxiv url: http://arxiv.org/abs/2609.18587v1
• Date: Wed, 16 Sep 2026 12:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.807312
• Title: Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces
• Title（参考訳）: ラベルフリーステアリング:バイアスのみの部分空間へのテスト時間強化学習の圧縮
• Abstract要約: テスト時間強化学習(TTRL)は、ラベル付きトレーニングデータに頼ることなく、モデルによる推論の改善を可能にする。 ラベルなしバイアスのみのTTRLは,ラベルなし報酬を用いて,小さなバイアスのみのサブスペースを最適化することで実現可能であることを示す。
• 参考スコア（独自算出の注目度）: 7.82208467111397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time reinforcement learning (TTRL) enables models to improve their reasoning without relying on labeled training data, but existing approaches typically optimize a large fraction of the model parameters. This raises a natural question: can effective test-time adaptation emerge when both the reward signal and the optimization space are severely restricted? We answer this question with label-free bias-only TTRL, which uses majority-vote pseudo-labels as rewards and optimizes only approximately 100K bias parameters while keeping the pretrained backbone frozen. On MATH-500, our approach reaches 76.67% accuracy, slightly exceeding our own labeled bias-steering reproduction while optimizing 76,000x fewer parameters than full-parameter TTRL. The same training procedure improves performance across vision-language and audio reasoning tasks, including MathVista, AI2D, LogicVista, and MMAU. We further show that the learned steering vectors transfer to 4,500 held-out MATH problems, indicating that the adaptation is not limited to the problems used during test-time optimization. Finally, we analyze why this highly restricted adaptation can work, showing that majority-vote reliability improves with rollout consensus and that bias subspaces with greater accessible gradient energy exhibit stronger downstream trainability. These results demonstrate that substantial test-time adaptation can emerge from optimizing a tiny bias-only subspace using entirely label-free rewards.
• Abstract（参考訳）: テスト時間強化学習(TTRL)は、ラベル付きトレーニングデータに頼ることなく、モデルによる推論を改善することができるが、既存のアプローチは通常、モデルのパラメータの大部分を最適化する。 報酬信号と最適化空間の両方が厳しく制限されている場合、効果的なテスト時間適応が実現できますか? ラベルなしバイアスのみのTTRLは,多数投票の擬似ラベルを報酬として使用し,事前学習したバックボーンを凍結させながら約100Kのバイアスパラメータのみを最適化する。 MATH-500では76.67%の精度で,全パラメータTTRLの76,000倍のパラメータを最適化しながら,ラベル付きバイアスステアリング再生をわずかに上回っている。 同じトレーニング手順は、MathVista、AI2D、LogicVista、MMAUなど、視覚言語およびオーディオ推論タスクのパフォーマンスを改善する。 さらに、学習されたステアリングベクトルが4,500個のホールドアウトMATH問題に変換されることを示し、この適応はテスト時間最適化で使用される問題に限らないことを示す。 最後に、この高度に制限された適応が機能する理由を分析し、ロールアウトコンセンサスによって多数投票の信頼性が向上し、よりアクセスしやすい勾配エネルギーを持つバイアス部分空間が下流のトレーニング可能性を高めることを示した。 これらの結果は、完全ラベルのない報酬を用いて小さなバイアスのみの部分空間を最適化することで、かなりのテスト時間適応が生まれることを示している。

関連論文リスト

• Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation [14.914697247710622]
  本稿では,自然言語理解における頑健性向上を目的とした,障害対応の逆探索強化フレームワークを提案する。 SNLIではRoBERTaベースの精度が88.48%から92.60%,ANLIでは75.04%から80.95%,MultiNLIでは54.67%から71.99%に向上した。 我々は、RoBERTa-largeを用いて、最大79.86%のFEVERスコアと82.45%の精度でFEVERの事実検証を行う。
  論文  参考訳（メタデータ） (2026-08-19T08:31:15Z)
• TEMPO: Scaling Test-time Training for Large Reasoning Models [87.61789183311856]
  テストタイムトレーニング(TTT)は、推論時間中にラベルのないテストインスタンスにモデルパラメータを適用する。 TTTフレームワークであるTEMPOを提案する。これは、ラベル付きデータセット上で定期的な批評家の再検討を行い、ラベル付き質問に対するポリシー修正をインターリーブする。
  論文  参考訳（メタデータ） (2026-04-21T10:01:04Z)
• Positive-Unlabeled Reinforcement Learning Distillation for On-Premise Small Models [130.8912476550625]
  そこで本研究では, 現場での小型モデル展開のための正の無ラベル(PU)強化学習蒸留法を提案する。 本手法は,教師の好み最適化能力をブラックボックス世代から地元の訓練可能な学生に蒸留する。 実験により,本手法は低コストで一貫した強靭な性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-28T15:14:50Z)
• From Static to Dynamic: Adaptive Monte Carlo Search for Mathematical Process Supervision [49.59309446816251]
  既存手法は, 定予算サンプリング戦略に基づいて, 推論ステップの質を推定する。 本稿では,データ生成を静的から適応に変換するフレームワークであるAdaptive Monte Carlo Search (AMCS)を提案する。 AMCSは、より多くのサンプルを不確実な推論ステップに割り当てることによって、予測を適応的に洗練し、予測しやすくする。
  論文  参考訳（メタデータ） (2025-09-29T06:52:35Z)
• Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization [17.149024413701014]
  Klear-Reasonerは、長い推論能力を持つモデルで、問題解決時に慎重に検討する。 本報告では、学習後のワークフロー全体を網羅した推論モデルの詳細分析を行う。
  論文  参考訳（メタデータ） (2025-08-11T05:17:51Z)
• LookAlike: Consistent Distractor Generation in Math MCQs [42.19039301965107]
  そこで我々はLookAlikeを提案する。LookAlikeは優先最適化によるエラー・ディトラクタの整合性を改善する手法である。 主なイノベーションは、(a)モデル不整合から合成選好ペアをマイニングすること、(b)教師付き微調整の交互化である。 LookAlike は LLM-as-a-judge 評価の下で、イントラクタ生成の精度51.6%、エラー生成の精度57.2% を達成する。
  論文  参考訳（メタデータ） (2025-05-03T19:18:06Z)
• FIESTA: Fisher Information-based Efficient Selective Test-time Adaptation [2.876586838098149]
  本稿では,最も重要なモデルパラメータのみを動的に識別・更新するフィッシャー駆動選択的適応フレームワークを提案する。 AffWild2ベンチマークの実験は、我々のアプローチが既存のTTAメソッドを大幅に上回っていることを示している。 提案手法は認識精度を向上するだけでなく、計算オーバーヘッドを大幅に削減し、実世界の感情コンピューティングアプリケーションにおいてテスト時間適応をより実用的なものにする。
  論文  参考訳（メタデータ） (2025-03-29T23:56:32Z)
• Clear Preferences Leave Traces: Reference Model-Guided Sampling for Preference Learning [59.11519451499754]
  直接選好最適化(DPO)は、言語モデルと人間の選好を整合させるデファクトアプローチとして登場した。 最近の研究によると、DPOの有効性はデータ品質のトレーニングに依存している。 基準モデル確率空間は,高品質なトレーニングサンプルを自然に検出する。
  論文  参考訳（メタデータ） (2025-01-25T07:21:50Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。