論文の概要: Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning
- arxiv url: http://arxiv.org/abs/2610.31667v1
- Date: Thu, 22 Oct 2026 17:59:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.516547
- Title: Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning
- Title（参考訳）: Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning
- Abstract要約: テストタイムのスケーリングは、推論モデルのための重要な推論戦略として現れました。
すべての候補解を完了させるには、計算的に要求されることがある。
我々は、選択したソリューションプールに対してpass@$k$を最適化することで、このトレードオフに対処するプルーニング手順を導入する。
- 参考スコア（独自算出の注目度）: 22.80301667399145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time scaling has emerged as a key inference strategy for reasoning models, where a model generates a large number of candidate solutions in the hope of finding at least one correct solution. Running all candidate solutions to completion can be computationally demanding, so recent work prunes the candidate pool after generating only a short prefix, committing further computation only to the surviving candidates. Existing pruning strategies divide broadly into two categories: Quality-based methods assign a score to each partial solution and discard those predicted to ultimately lead to an incorrect final solution, while diversity-based methods select partial solutions that follow different reasoning trajectories and are therefore likely to cover different final solutions. The tension between these two objectives is an instance of exploration versus exploitation, yet little to no prior work on pruning exposes this trade-off directly, let alone optimizes it. In this paper, we introduce a pruning procedure that addresses this trade-off directly by optimizing pass@$k$ over the selected solution pool. In particular, it chooses the pool to maximize the probability that at least one of its partial solutions, when continued to completion, yields a correct answer. Because this objective simultaneously rewards high-quality partial solutions and penalizes redundancy among them, quality and diversity are naturally balanced by the criterion itself rather than through separate ad-hoc design choices. On eight open-weight reasoning models, our method outperforms existing quality-based and diversity-based pruning strategies. The gains are particularly pronounced when the pruning procedure keeps a moderate number of partial solutions for continued generation, highlighting the value of directly balancing quality and diversity during pruning.
- Abstract（参考訳）: テストタイムスケーリングは、モデルを推論するための重要な推論戦略として現れており、モデルが少なくとも1つの正しい解を見つけるために、多数の候補解を生成する。
全ての候補解の実行は計算的に要求されるので、最近の研究は短いプレフィックスしか生成せず、残った候補にのみさらなる計算を行う。
既存のプルーニング戦略は2つのカテゴリに大別される: 品質ベースの手法は各部分解にスコアを割り当て、最終的に誤った最終解につながると予測されたものを破棄する。
これらの2つの目的の間の緊張は、エクスプロイトとエクスプロイトの事例である。
本稿では、選択したソリューションプールに対してpass@$k$を最適化することで、このトレードオフに対処するプルーニング手順を導入する。
特に、その部分解の少なくとも1つが完備化し続けると正しい解が得られる確率を最大化するためにプールを選択する。
この目的は、高品質な部分解を同時に報酬し、それらの間の冗長性を罰するので、品質と多様性は、別個のアドホックな設計選択によってではなく、基準そのものによって自然に均衡している。
8つのオープンウェイト推論モデルにおいて,本手法は既存の品質ベースおよび多様性ベースプルーニング戦略より優れている。
この利得は、プルーニング時に品質と多様性を直接バランスする価値を強調しながら、プルーニング手順が連続した生成のために適度な数の部分解を保っているときに特に顕著である。
関連論文リスト
- Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。
このことは、逆KL最小化のモード探索行動に由来することを示す。
KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
論文 参考訳（メタデータ） (2026-05-19T07:13:00Z) - A Review on Single-Problem Multi-Attempt Heuristic Optimization [6.778082328635129]
ある現実世界の最適化シナリオでは、実践者は複数の問題を解決することに関心がなく、単一の特定の問題に対する最良の解決策を見つけることに興味があります。
計算予算が候補解を評価するコストに対して大きい場合、同じ問題を解くために複数の選択肢を試すことができる。
次に試す選択肢のシーケンシャルな選択は、最良のソリューションを提供する選択肢を効率的に特定するために不可欠です。
論文 参考訳（メタデータ） (2025-09-30T14:28:28Z) - Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。
GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。
提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
論文 参考訳（メタデータ） (2025-08-27T06:51:48Z) - A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。
最適化に基づく最適化手法であるMERITを導入する。
MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
論文 参考訳（メタデータ） (2025-06-23T19:59:30Z) - Illuminating the Diversity-Fitness Trade-Off in Black-Box Optimization [9.838618121102053]
現実世界のアプリケーションでは、ユーザーは1つの高品質なソリューションよりも構造的に多様な設計選択を好むことが多い。
本稿では, 所定のしきい値以上のペア距離を持つ一定数の解を同定する問題を考察する。
このトレードオフが、根底にある最適化問題の性質にどのように依存するかを分析する。
論文 参考訳（メタデータ） (2024-08-29T09:55:55Z) - Bi-objective Ranking and Selection Using Stochastic Kriging [0.0]
両目的のランク付けと選択の問題について検討し,その2つの目的が不確実性をもって観測された。
そこで本研究では,競合する解に対して逐次サンプルを割り当てるバイーシアン双対象ランクと選別法を提案する。
実験結果から,提案手法は標準的なアロケーション手法よりも優れており,また,よく知られた最先端のアルゴリズムも優れていることがわかった。
論文 参考訳（メタデータ） (2022-09-05T23:51:07Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳（メタデータ） (2022-01-28T05:53:28Z) - Contrastive Losses and Solution Caching for Predict-and-Optimize [19.31153168397003]
ノイズコントラスト法を用いて、サロゲート損失関数の族を動機付ける。
すべての予測と最適化アプローチのボトルネックに対処する。
非常に遅い成長率でさえ、最先端の手法の質に合わせるのに十分であることを示す。
論文 参考訳（メタデータ） (2020-11-10T19:09:12Z) - Solution Subset Selection for Final Decision Making in Evolutionary
Multi-Objective Optimization [7.745468825770201]
最終的な意思決定の観点から,サブセットの選択について論じる。
定式化関数はIGD+インジケータと同じであることを示す。
論文 参考訳（メタデータ） (2020-06-15T06:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。