論文の概要: Adaptive Power Sampling for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2610.08563v1
• Date: Tue, 06 Oct 2026 15:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.091723
• Title: Adaptive Power Sampling for LLM Reasoning
• Title（参考訳）: LLM推論のための適応パワーサンプリング
• Abstract要約: 基本大言語モデル(LLM)の出力分布の抽出による推論のためのトレーニング不要手法として,最近,シーケンスレベルの電力サンプリングが出現している。 さらなるシャープ化の利点は, 正解と誤解の自己逆差によって決定されることを示す。 本稿では, 応答合意とモデル自己回帰の関係を利用して, テスト時間当たりのシャープ化指数を調整できるemphAdaptive Power Sampling (APS)を提案する。
• 参考スコア（独自算出の注目度）: 26.842057604005948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence-level power sampling has recently emerged as a training-free approach to reasoning by sampling from a sharpened output distribution of a base large language model (LLM). Nevertheless, existing methods typically sharpen the base model distribution uniformly across queries, overlooking variations in query difficulty and in how well the base model already handles each query. The goal of this work is to equip power sampling with query adaptivity. Theoretically, we show that the benefits of further sharpening are determined by the self-reward gap between correct and incorrect responses. Based on this insight, we propose \emph{Adaptive Power Sampling} (APS), which adjusts the sharpening exponent on a per-query basis at test time using the relationship between answer agreement and the model's self-reward. Experiments across diverse reasoning tasks, including MATH500, HumanEval, and GPQA, show that APS consistently outperforms power sampling with a fixed sharpening exponent, without additional training.
• Abstract（参考訳）: 近年,基本大言語モデル(LLM)の出力分布の抽出による推論の学習自由な手法として,シーケンスレベルの電力サンプリングが登場している。 それでも、既存のメソッドは、クエリ間のベースモデルの分布を均一にシャープし、クエリの難しさのバリエーションと、ベースモデルがクエリ毎にどのように処理されているかを見渡すのが一般的である。 この研究の目的は、クエリ適応性を備えた電力サンプリングを提供することである。 理論的には, さらなるシャープ化の利点は, 正解と誤解の自己逆差によって決定される。 そこで本研究では,応答アグリーメントとモデル自己回帰の関係を利用して,テスト時間当たりのシャープニング指数を調整した 'emph{Adaptive Power Sampling} (APS) を提案する。 MATH500、HumanEval、GPQAを含む様々な推論タスクにわたる実験では、APSは追加の訓練をすることなく、固定鋭化指数で電力サンプリングを一貫して上回っている。

関連論文リスト

• Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling [26.291892793347426]
  textbfParallel Power Tempering (PPT)を導入する。 異なるシャープ化レベルで複数の共振レプリカを並列に実行することで、低消費電力レプリカは多様な推論軌道を探索することができる。 実験により, 単鎖型パワースハーペンドサンプリングを著しく改善し, RL-ポストトレーニングモデルより優れた性能を示した。
  論文  参考訳（メタデータ） (2026-09-29T17:45:43Z)
• Small RL Controller, Large Language Model: RL-Guided Adaptive Sampling for Test-Time Scaling [16.727861334696883]
  適応サンプリングをマルコフ決定過程(MDP)として定式化する。 我々は、回答の正しさ、レイテンシ、コストを両立させるために、強化学習(RL)を備えた軽量サンプリングコントローラを訓練する。 提案手法は,最終回答の統計にのみ依存する軽量で,CPU上でのトレーニングやデプロイが可能である。
  論文  参考訳（メタデータ） (2026-06-02T03:42:04Z)
• Reasoning with Sampling: Cutting at Decision Points [7.438249964230582]
  ベースモデルの分布を鋭くしたバージョンからサンプリングすると、追加のトレーニング、キュレートされたデータセット、検証なしで、同等の推論が引き起こされることを示す。 サンプリング者は、目標分布のモード間の移動を必要とする電力分布に「混合」する必要がある。 本稿では,基本モデルの次点エントロピーをプロキシとして用いて,重要な決定点を特定し,それらの位置から再サンプリングするアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-28T17:57:32Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。