論文の概要: SelectTTRL: Representation-Guided Data Selection for Efficient Test-Time Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.16104v1
• Date: Mon, 12 Oct 2026 03:12:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:41:06.226099
• Title: SelectTTRL: Representation-Guided Data Selection for Efficient Test-Time Reinforcement Learning
• Title（参考訳）: SelectTTRL: 効率的なテスト時間強化学習のための表現誘導型データ選択
• Abstract要約: 本研究は,高コストなテストタイムトレーニングに先立って,地味な回答を伴わずに,問題を特定することができるかどうかを考察する。 本稿では,COSを用いたテスト問題のランク付けを行う表現誘導型データ選択手法であるSelectTTRLを提案し,TTRLを選択パーセンタイル間隔にのみ適用する。
• 参考スコア（独自算出の注目度）: 18.34434908464421
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Test-Time Reinforcement Learning (TTRL) enables large language models to adapt directly on unlabeled test problems by constructing pseudo-labels from multiple sampled responses. However, existing TTRL methods typically apply the same expensive sampling and optimization procedure to all test problems, despite substantial differences in their training utility. In this paper, we study whether such problems can be identified before costly test-time training, without access to ground-truth answers. We uncover a stable relationship between internal response representations and problem-level empirical accuracy. Specifically, we define COS as the cosine similarity between a model's response representation and a correctness-related direction constructed from an independent question-answering dataset. COS consistently correlates with problem solvability across different models, datasets, and experimental settings, and we further provide a theoretical analysis explaining this relationship. Building on this finding, we propose SelectTTRL, a representation-guided data selection method that ranks test problems using COS and applies TTRL only to a selected percentile interval. SelectTTRL leaves the standard TTRL pipeline unchanged for the selected problems, while avoiding unnecessary multi-response sampling and reinforcement learning updates on the remaining ones. Experiments across multiple reasoning benchmarks demonstrate that SelectTTRL substantially reduces test-time computation while maintaining or improving the performance of standard TTRL. Code is available at https://github.com/heyiliyi/SelectTTRL-public.
• Abstract（参考訳）: テスト時間強化学習(TTRL)では、複数のサンプル応答から擬似ラベルを構築することで、大規模言語モデルでラベルのないテスト問題に直接適応することができる。 しかしながら、既存のTTRL法は、トレーニングユーティリティにかなりの違いがあるにもかかわらず、全てのテスト問題に対して、通常、同じ高価なサンプリングと最適化の手順を適用する。 そこで本研究では,テストタイムの費用がかかる前に,その問題を特定することができるかどうかについて検討する。 内部応答表現と問題レベルの経験的精度の安定な関係を明らかにする。 具体的には、COSを、モデルの応答表現と、独立した質問応答データセットから構築された正当性関連方向とのコサイン類似性として定義する。 COSは、異なるモデル、データセット、実験環境間での問題解決可能性と一貫して相関し、さらにこの関係を説明する理論的解析を行う。 そこで本研究では,COSを用いたテスト問題のランク付けを行う表現誘導型データ選択手法であるSelectTTRLを提案し,TTRLを選択したパーセンタイル間隔にのみ適用する。 SelectTTRLは、選択した問題に対して標準のTTRLパイプラインを変更せず、残りの問題に対して不要なマルチレスポンスサンプリングと強化学習のアップデートを避ける。 複数の推論ベンチマークによる実験により、SelectTTRLは標準TRLの性能を維持したり改善したりしながら、テスト時間計算を大幅に削減することが示された。 コードはhttps://github.com/heyiliyi/SelectTTRL-publicで公開されている。

関連論文リスト

• REAR: Test-time Preference Realignment through Reward Decomposition [68.09214603569744]
  本稿では,タスクを階層化問題としてモデル化する新しいフレームワークを提案する。 これら2つの報酬項の比率を選択的に再スケールするREAR(Realignment Reward)を導出する。 我々は,REARをトークンレベルのポリシログ確率の線形結合として定式化することができ,様々なTSアルゴリズムと容易に統合できることを示す。
  論文  参考訳（メタデータ） (2026-06-29T14:17:53Z)
• Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning [49.04912820721943]
  Supervised Fine-tuning (SFT) は計算コストが高く、時にはオーバーフィットやバイアス増幅に悩まされる。 本研究は、トレーニングプロセス中にサンプルを動的にスコア付け、フィルタリングするオンラインバッチ選択ファミリについて研究する。 SFTにおける効率的なオンラインバッチ選択のためのフレームワークである textbfUDS (Utility-Diversity Sampling) を開発した。
  論文  参考訳（メタデータ） (2025-10-19T15:32:01Z)
• TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs [50.820065021136024]
  DeepSeek R1には、大規模言語モデル(LLM)のためのかなり高度な複雑な推論がある。 最近の手法は、R1の推論能力をマルチモーダルな設定で再現しようと試みている。 視覚推論のための新しい強化学習アルゴリズムTACOを提案する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:48Z)
• Test-time Correlation Alignment [2.389598109913754]
  テスト時間適応(TTA)は、ラベルのないテストデータのみを使用して適応する。 テスト時間相関アライメント(TCA)は、理論的保証でテスト性能を向上させることができる。 LinearTCAは、追加のモデル更新なしでインスタンスと相関アライメントの両方を達成するために、単純な線形変換を適用します。 LinearTCA+は、既存のTTAメソッドを簡単に強化できるプラグイン・アンド・プレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2025-05-01T13:59:13Z)
• TTRL: Test-Time Reinforcement Learning [31.351608137721875]
  TTRL(Test-Time Reinforcement Learning)は、ラベルのないデータに基づいて大規模言語モデル(LLM)を訓練する新しい手法である。 実験の結果,TTRLは様々なタスクやモデルに対して一貫して性能を向上することがわかった。
  論文  参考訳（メタデータ） (2025-04-22T17:59:56Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。