論文の概要: Value-Conditioned Proposal Acquisition for Test-Time Reasoning

• arxiv url: http://arxiv.org/abs/2611.02852v1
• Date: Mon, 02 Nov 2026 09:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 14:52:46.484901
• Title: Value-Conditioned Proposal Acquisition for Test-Time Reasoning
• Title（参考訳）: テスト時間推論のためのバリューコンディション型提案獲得
• Abstract要約: ValueFormationは、各プライマリモデルが停止するか、サンプリングを継続するか、あるいは異種推論スペシャリストから1つの提案を取得するかどうかを判断するテストタイムポリシーです。 ホールドアウトのMATH-500では、Llamaに適合したキャリブレーションが8つのベースラインの最大値よりも15ポイント以上改善され、Qwen3-14Bに変換される。 取得の削除は、Llama MATHの精度を20.43ポイント下げる一方、同一のトレースと同一アクセスは、専門家のアクセスのみではなく、状態条件の取得の獲得を後押しする。
• 参考スコア（独自算出の注目度）: 7.411478588468014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling and selection spend test-time compute inside a candidate pool, but they cannot recover a correct answer that never enters it. We introduce ValueFormation, a test-time policy that decides after each primary-model draw whether to stop, continue sampling, or acquire one proposal from a heterogeneous reasoning specialist. The three actions are compared on one cost-regularized value scale learned from vote-state features; the calibration is frozen across tasks and primary models, and acquired proposals are accepted only through a frozen posterior comparison. On held-out MATH-500, one Llama-fitted calibration improves over the strongest of eight identically evaluated baselines by more than fifteen points for each of three 8B primaries and transfers unchanged to Qwen3-14B. Removing acquisition lowers Llama MATH accuracy by 20.43 points, while same-trace and same-access replays attribute the gain to state-conditioned acquisition rather than specialist access alone. Where primary coverage is high, as on GSM8K, acquisition is rare and gains mainly come from cheaper allocation; on MBPP, a fixed code route attains the top accuracy at the lowest interaction cost. Varying the token price monotonically reduces calls without retraining.
• Abstract（参考訳）: サンプリングと選択は、候補プール内のテスト時間計算に費やしますが、決して入らない正しい回答を回復することはできません。 ValueFormationは、各プライマリモデルが停止するか、サンプリングを継続するか、あるいは異種推論スペシャリストから1つの提案を取得するかどうかを判断するテストタイムポリシーです。 3つのアクションは、投票状態の特徴から得られた1つのコスト調整値スケールで比較され、キャリブレーションはタスクとプライマリモデルの間で凍結され、取得された提案は、凍結後比較によってのみ受け入れられる。 ホールドアウトのMATH-500では、Llamaに適合したキャリブレーションが8つのベースラインの最大値よりも15ポイント以上改善され、Qwen3-14Bに変換される。 取得の削除は、Llama MATHの精度を20.43ポイント下げる一方、同一のトレースと同一アクセスのリプレイは、専門家のアクセスのみではなく、状態条件の取得による。 GSM8Kのように一次カバレッジが高い場合、取得はまれであり、主に低い割り当てから得られる。 トークンの価格を単調に値下げすることで、再トレーニングなしで呼び出しを減らします。

関連論文リスト

• Don't Skip the Baseline: A Controlled Comparison of Dynamic Expert Skipping in MoEs [42.2062414579297]
  我々は4つの代表的な先行手法を統一分類群に分類し、それらを自然な単純なベースラインに対してベンチマークする。 驚くべきことに、単純なベースラインはモデル、モダリティ、ベンチマーク、キャリブレーション設定で一貫したパフォーマンスを発揮することは難しい。
  論文  参考訳（メタデータ） (2026-10-20T15:29:19Z)
• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Flow-Support-Weighted Proposals for Test-Time Verified VLA Policies [21.165662881835416]
  テストタイムサンプリングは、1つのアクション予測を検証者が選択できる独立した実行可能候補のセットに変換することを約束する。 1つのタスク分布を解くために訓練された視覚アクションモデルは、そのフローマッチングデコーダを支配的な実演行動の周りに集中させ、繰り返しサンプルはわずかに異なる。 繰り返しサンプルは、候補となる予算が増加するにつれて、非常に冗長なままになります。
  論文  参考訳（メタデータ） (2026-10-10T05:06:36Z)
• Coverage You Can Steer: Online Conformal Calibration for RL-Driven Hardware-Aware NAS [3.3784794389620454]
  ハードウェア対応ニューラルアーキテクチャサーチ(NAS)は、評価コストに支配されている。 ワンショット定量推定をオンラインフィードバック制御に置き換える。 NASは要求された全てのレベルを$sim10-3$以内まで追跡し、評価の25～50%を測定精度なしでプルーニングする。
  論文  参考訳（メタデータ） (2026-10-02T10:47:58Z)
• The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
  本研究は, ベットによる検査に基づく漏洩検出について検討する。 13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
  論文  参考訳（メタデータ） (2026-09-27T14:14:10Z)
• GRPO-QPS: Target-Preserving Reinforcement Learning for Quantum Posterior Sampling [42.21989596721942]
  GRPO-QPSは、GRPOが提案動作を学習し、正確なメトロポリス補正が訓練後の後部を保存するターゲット保存フレームワークである。 6キュービットと800ショットで、学習された提案では、1,000ドル(約1万1000円)の通話に対して、最小有効サンプルサイズ102を達成している。
  論文  参考訳（メタデータ） (2026-09-13T18:09:43Z)
• TaPR: Test-Aware Policy Refinement for Feedback-Conditioned Code Generation [6.268849049716121]
  Test-Aware Policy Refinement (TaPR)は、実行フィードバックを高密度なターン毎のテストパス比報酬に変換するフレームワークである。 LiveCodeBenchの219のコード生成問題に関する6つのモデルにおいて、TaPRはプールされた3ターン成功率(Pass@3)を2.44ポイント改善した。
  論文  参考訳（メタデータ） (2026-08-01T07:35:06Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。