論文の概要: Policy of Thoughts: Scaling LLM Reasoning via Test-time Policy Evolution

• arxiv url: http://arxiv.org/abs/2601.20379v1
• Date: Wed, 28 Jan 2026 08:44:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.851568
• Title: Policy of Thoughts: Scaling LLM Reasoning via Test-time Policy Evolution
• Title（参考訳）: 思考のポリシー:テストタイムポリシーの進化によるLCM推論のスケーリング
• Authors: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han,
• Abstract要約: 大規模言語モデル(LLM)は、凍結した仮定のために複雑で長い水平推論に苦しむ。 ポパーの「否定と反感」にインスパイアされた我々は、知性はモデルのポリシーをリアルタイムで進化させる必要があると論じる。 本稿では,推論をオンライン最適化プロセスとして再放送するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.627651452629706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) struggle with complex, long-horizon reasoning due to instability caused by their frozen policy assumption. Current test-time scaling methods treat execution feedback merely as an external signal for filtering or rewriting trajectories, without internalizing it to improve the underlying reasoning strategy. Inspired by Popper's epistemology of "conjectures and refutations," we argue that intelligence requires real-time evolution of the model's policy through learning from failed attempts. We introduce Policy of Thoughts (PoT), a framework that recasts reasoning as a within-instance online optimization process. PoT first generates diverse candidate solutions via an efficient exploration mechanism, then uses Group Relative Policy Optimization (GRPO) to update a transient LoRA adapter based on execution feedback. This closed-loop design enables dynamic, instance-specific refinement of the model's reasoning priors. Experiments show that PoT dramatically boosts performance: a 4B model achieves 49.71% accuracy on LiveCodeBench, outperforming GPT-4o and DeepSeek-V3 despite being over 50 smaller.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、凍結されたポリシー仮定によって生じる不安定性のために、複雑で長い水平推論に苦しむ。 現在のテストタイムスケーリング手法は、実行時のフィードバックを、根底にある推論戦略を改善するために内部化することなく、単にトラジェクトリのフィルタリングや書き換えのための外部信号として扱う。 ポパーの「譲歩と反感」の認識論に触発されて、我々は知性は失敗した試みから学ぶことによってモデルの政策をリアルタイムで進化させる必要があると論じる。 本稿では、推論をオンライン最適化プロセスとして再放送するフレームワークPoT(PoT)について紹介する。 PoTは、まず効率的な探索メカニズムを通じて多様な候補ソリューションを生成し、次にグループ相対ポリシー最適化(GRPO)を使用して、実行フィードバックに基づいて過渡的なLoRAアダプタを更新する。 このクローズドループ設計は、モデルの推論前の動的でインスタンス固有の洗練を可能にする。 4Bモデルは、50以上の小さいにもかかわらず、LiveCodeBenchで49.71%の精度でGPT-4oとDeepSeek-V3を上回っている。

関連論文リスト

• PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
  生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。 既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。 本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:38:46Z)
• Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization [5.674809920704963]
  Latent Thought Policy Optimizationは、LLM推論を完全にテスト時に強化する。 実験により、LTPOは標準タスクの強いベースラインに適合または超えるだけでなく、他のタスクが失敗する際、顕著な堅牢性を示すことが示された。 とりわけ、既存の遅延推論ベースラインがほぼゼロに近い精度に崩壊する非常に難しいAIMEベンチマークでは、LTPOが大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-05T12:50:39Z)
• Reasoning through Exploration: A Reinforcement Learning Framework for Robust Function Calling [35.97270347306353]
  グループ相対政策最適化(GRPO)に基づく新しいRLフレームワークである textbfEGPO を提案する。 EGPOの中核はエントロピー強化の利点関数であり、モデルのChain-of-Thought(CoT)のエントロピーをポリシー勾配に統合する。 挑戦的なBFCL(Berkeley Function Calling Leaderboard)では、EGPOでトレーニングされた4Bパラメータモデルが、同等サイズのモデルの間で新たな最先端を設定している。
  論文  参考訳（メタデータ） (2025-08-07T07:51:38Z)
• R$^2$ec: Towards Large Recommender Models with Reasoning [59.32598867813266]
  R$2$ecは、本質的な推論能力を持つ統一された大型レコメンデータモデルである。 R$2$ecは、推論チェーン生成と効率的なアイテム予測の両方を単一のモデルでサポートするデュアルヘッドアーキテクチャを導入している。 注釈付き推論データの欠如を克服するため、強化学習フレームワークであるRecPOを設計する。
  論文  参考訳（メタデータ） (2025-05-22T17:55:43Z)
• Learning When to Think: Shaping Adaptive Reasoning in R1-Style Models via Multi-Stage RL [36.40577746211243]
  大規模推論モデル(LRM)は、最終的な答えを生成する前に、明示的でステップバイステップの推論シーケンスを生成するのに熟練している。 この過度に考える問題に対処するため、適応的思考能力を備えたLEMの装備方法について検討する。 推論ポリシーを段階的に最適化する多段階強化学習フレームワークであるAutoThinkを提案する。
  論文  参考訳（メタデータ） (2025-05-16T04:01:57Z)
• A NotSo Simple Way to Beat Simple Bench [0.0]
  本稿では,大規模言語モデル(LLM)における推論能力向上のための新しい枠組みを提案する。 モデル精度とロバスト性を改善するために,グローバルな整合性チェックと組み合わせたマルチステッププロンプト戦略を提案する。 クロードは論理的整合性を維持するのに優れ, GPT-4oは探索的創造性を示すが, 曖昧なプロンプトに苦しむ。
  論文  参考訳（メタデータ） (2024-12-12T16:04:31Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。