論文の概要: MS-TTRL: Breaking the Frequency Conflict in Multiple-Solution Test-Time Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.32234v1
• Date: Fri, 23 Oct 2026 06:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.411582
• Title: MS-TTRL: Breaking the Frequency Conflict in Multiple-Solution Test-Time Reinforcement Learning
• Title（参考訳）: MS-TTRL:複数解法テスト時間強化学習における周波数競合を破る
• Abstract要約: テスト時間強化学習(TTRL)は、未ラベルのテストインスタンスに強化学習を適用する。 出力レベル自己検証により周波数非依存の精度推定を行うMS-TTRLを提案する。 その結果,MS-TTRLはラベルフリーベースラインよりも平均19.13ポイント向上していることがわかった。
• 参考スコア（独自算出の注目度）: 13.424120064612245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific, engineering, and mathematical reasoning tasks can admit multiple valid solutions, while exhaustive annotation of the full solution set is often prohibitively costly. Test-time reinforcement learning (TTRL) applies reinforcement learning to unlabeled test instances, offering a label-free approach to multiple-solution reasoning. In this setting, generation frequency serves two opposing objectives: correctness estimation favors frequent outcomes, whereas outcome-level diversity preservation favors less frequent outcomes. We term this tension the \textbf{Frequency Conflict}. To resolve this conflict, we propose MS-TTRL, which obtains frequency-independent correctness estimates through Outcome-Level Self-Verification while reserving generation frequency solely for diversity preservation. Three-State Outcome Cache and the Candidate State support verification reuse across repeated observations and confidence-aware handling of ambiguous outcomes, while Confidence-Gated Inverse Probability Scaling selectively strengthens the learning signals of rare, reliably verified outcomes. Experiments across two benchmarks, four multiple-solution tasks, and three backbone models, each evaluated with five random seeds, show that MS-TTRL improves Recovery Rate by 19.13 percentage points on average over the best-performing label-free baseline and approaches the performance of the supervised IPS-GRPO.
• Abstract（参考訳）: 科学的、工学的、数学的推論的なタスクは複数の有効な解を許容するが、完全な解集合の徹底的な注釈は、しばしば違法にコストがかかる。 テスト時間強化学習(TTRL)は、ラベルのないテストインスタンスに強化学習を適用し、マルチソリューション推論に対するラベルなしアプローチを提供する。 この設定では、生成頻度は2つの反対の目的を果たす: 正確度推定は頻繁な結果を好むが、結果レベルの多様性保存は頻繁な結果を好む。 この緊張関係をtextbf{Frequency Conflict} と呼ぶ。 そこで本研究では,MS-TTRLを提案する。このMS-TTRLは,多様性を保ちつつ,出力レベル自己検証により周波数非依存の正当性推定値を得る。 3状態のアウトカムキャッシュと候補状態のサポートは、繰り返し観測と不明瞭な結果の信頼性に配慮した処理を再利用する一方、信頼性保証された逆確率スケーリングは、稀で確実に検証された結果の学習信号を選択的に強化する。 2つのベンチマーク、4つの多重解法タスク、3つのバックボーンモデルでそれぞれ5つのランダムシードで評価した結果、MS-TTRLはラベルなしベースラインよりも平均19.13ポイント改善し、監督されたIPS-GRPOの性能に近づいた。

関連論文リスト

• Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning [66.13367818892503]
  Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。 TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。 イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
  論文  参考訳（メタデータ） (2026-09-09T22:54:15Z)
• Boosting Self-Consistency with Ranking [56.38798757709555]
  自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。 この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
  論文  参考訳（メタデータ） (2026-06-03T16:12:30Z)
• TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models [76.92890872338235]
  大規模事前学習型ビジョンランゲージモデル(VLM)は、強いゼロショット一般化を示すが、知覚不能な逆方向の摂動に対して非常に脆弱である。 ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。
  論文  参考訳（メタデータ） (2026-05-17T18:07:08Z)
• Understanding and Mitigating Spurious Signal Amplification in Test-Time Reinforcement Learning for Math Reasoning [37.981949917083746]
  テスト時強化学習(TTRL)は常に擬似ラベルによる推論時にモデルを適応させる。 本稿では,突発的なシグナルを緩和する統合フレームワークであるDebiased and Denoised test-time Reinforcement Learningを提案する。
  論文  参考訳（メタデータ） (2026-04-23T06:32:08Z)
• What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
  TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。 既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。 本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
  論文  参考訳（メタデータ） (2026-03-20T11:47:12Z)
• Reliability-Aware Adaptive Self-Consistency for Efficient Sampling in LLM Reasoning [20.371912257758634]
  自己整合性はマルチサンプルアグリゲーションによる推論信頼性を向上させるが、かなりの推論コストを発生させる。 本稿では,この制限に対処する信頼性適応型自己整合性(ReASC)を提案する。 ReASCは、既存のベースラインと比較して常に最高の精度とコストのトレードオフを達成し、3Bから27Bパラメータのモデルスケールでの推論効率を向上させる。
  論文  参考訳（メタデータ） (2026-01-06T12:27:53Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning [12.354777054071379]
  テスト時間強化学習は、多数決結果を擬似ラベルとして使用することにより、注釈付きデータへの依存を軽減する。 この投票戦略は、しばしば確認バイアスを引き起こし、スパース報酬に悩まされ、全体的なパフォーマンスが制限される。 これらの問題に対処するために,サブグループ固有のステップワイド信頼度重み付き擬似ラベル推定(SCOPE)を提案する。
  論文  参考訳（メタデータ） (2025-12-17T07:21:54Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。