論文の概要: BFS-PO: Best-First Search for Large Reasoning Models
- arxiv url: http://arxiv.org/abs/2602.14917v1
- Date: Mon, 16 Feb 2026 16:53:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 16:22:50.550317
- Title: BFS-PO: Best-First Search for Large Reasoning Models
- Title（参考訳）: BFS-PO:大規模推論モデルのベストファースト検索
- Authors: Fiorenzo Parascandolo, Wenhui Tan, Enver Sangineto, Ruihua Song, Rita Cucchiara,
- Abstract要約: OpenAI o1やDeepSeek-R1のような大きな推論モデル(LRM)は推論タスクにおいて優れたパフォーマンスを示している。
これにより計算コストが大幅に増加し、冗長な出力が生成される。
本稿では,この問題をBest-First Search 探索戦略を用いて緩和する RL アルゴリズム BFS-PO を提案する。
- 参考スコア（独自算出の注目度）: 48.89264625477105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Reasoning Models (LRMs) such as OpenAI o1 and DeepSeek-R1 have shown excellent performance in reasoning tasks using long reasoning chains. However, this has also led to a significant increase of computational costs and the generation of verbose output, a phenomenon known as overthinking. The tendency to overthinking is often exacerbated by Reinforcement Learning (RL) algorithms such as GRPO/DAPO. In this paper, we propose BFS-PO, an RL algorithm which alleviates this problem using a Best-First Search exploration strategy. Specifically, BFS-PO looks for the shortest correct answer using a backtracking mechanism based on maximum entropy nodes. By generating progressively shorter responses during training, BFS-PO learns to produce concise reasoning chains. Using different benchmarks and base LRMs, we show that BFS-PO can simultaneously increase the LRM accuracy and shorten its answers.
- Abstract（参考訳）: OpenAI o1やDeepSeek-R1のようなLRM(Large Reasoning Models)は、長い推論チェーンを用いた推論タスクにおいて優れたパフォーマンスを示している。
しかし、これはまた、計算コストが著しく増加し、冗長な出力の発生につながった。
過剰思考の傾向はしばしばGRPO/DAPOのような強化学習(RL)アルゴリズムによって悪化する。
本稿では,この問題をBest-First Search 探索戦略を用いて緩和する RL アルゴリズム BFS-PO を提案する。
具体的には、最大エントロピーノードに基づくバックトラック機構を用いて、BFS-POが最短の正解を求める。
トレーニング中に徐々に短い応答を生成することで、BFS-POは簡潔な推論連鎖を生成することを学ぶ。
BFS-PO は,異なるベンチマークと基本 LRM を用いて,同時に LRM の精度を向上し,回答を短縮できることを示す。
関連論文リスト
- APR: Penalizing Structural Redundancy in Large Reasoning Models via Anchor-based Process Rewards [61.52322047892064]
テスト時間スケーリング(TTS)は、Large Reasoning Models(LRM)の機能を大幅に強化した。
我々は, LRM が推論過程において最終回答を得た後も, 再検討なしに反復的自己検証を頻繁に行うことを観察した。
本稿では,Anchor-based Process Reward (APR)を提案する。
論文 参考訳（メタデータ） (2026-01-31T14:53:20Z) - ENTRA: Entropy-Based Redundancy Avoidance in Large Language Model Reasoning [30.786062954495403]
大規模な推論モデル(LRM)は、単純なタスクであっても必要以上に長い推論チェーンを生成するため、過度に考え直されることが多い。
本稿では,性能を保ちながら冗長な推論を抑制するエントロピーベースのトレーニングフレームワークであるENTRAを提案する。
論文 参考訳（メタデータ） (2026-01-12T01:26:30Z) - Accelerating LLM Reasoning via Early Rejection with Partial Reward Modeling [12.835376812101323]
PRMも部分的リワードモデルであるという仮説を導入する。
これにより、中間トークンレベル信号に基づく原理的な早期拒絶が可能となる。
算数推論のベンチマークでは、最終的な性能を劣化させることなく、最大1.4$times$-9$times$の推論FLOPを削減できる。
論文 参考訳（メタデータ） (2025-08-04T00:58:56Z) - A*-Thought: Efficient Reasoning via Bidirectional Compression for Low-Resource Settings [60.48717743667377]
A*-Thoughtは、最も本質的な思考を識別し、分離するために設計された効率的なツリー検索ベースの統合フレームワークである。
LRMの推論過程を探索木として定式化し、各ノードは巨大な推論空間における推論スパンを表す。
低予算でQwQ-32Bを2.39$times$で改善し、高予算で出力トークンの長さを50%近く削減できる。
論文 参考訳（メタデータ） (2025-05-30T12:58:34Z) - Interleaved Reasoning for Large Language Models via Reinforcement Learning [22.403928213802036]
ロングチェーン・オブ・シント(CoT)は、大規模言語モデル(LLM)推論能力を向上する。
本稿では、強化学習(RL)を用いてLLMを指導し、マルチホップ質問に対する思考と回答をインターリーブする新しい学習パラダイムを提案する。
論文 参考訳（メタデータ） (2025-05-26T07:58:17Z) - Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。
既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。
本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
論文 参考訳（メタデータ） (2025-05-25T11:03:45Z) - Learn to Reason Efficiently with Adaptive Length-based Reward Shaping [23.626013831589212]
大規模共振モデル(LRM)は、強化学習(RL)を通して複雑な問題を解く際、顕著な能力を示した。
本稿では,長さに基づく報酬形成のレンズを用いて,様々な効率的な推論手法を定式化する統一フレームワークを提案する。
DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-32Bの実験により、本手法は推論性能と応答長の効率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2025-05-21T15:03:26Z) - Concise Reasoning via Reinforcement Learning [13.657506042120167]
我々は強化学習(RL)の中核的原則を再考する。
簡潔さと正確さの自然な相関関係を明らかにする。
RLトレーニングの二次段階の導入は、非常に小さな問題セットを用いて、思考の連鎖を著しく減少させることが示される。
論文 参考訳（メタデータ） (2025-04-07T15:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。