論文の概要: SignalReasoner: Assessing the Upper Bound of 3B Models for Signal Mathematical Reasoning
- arxiv url: http://arxiv.org/abs/2608.17301v1
- Date: Tue, 18 Aug 2026 02:52:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.190163
- Title: SignalReasoner: Assessing the Upper Bound of 3B Models for Signal Mathematical Reasoning
- Title（参考訳）: SignalReasoner:信号数学的推論のための3Bモデル上界の評価
- Abstract要約: 教師付き連鎖微調整による後学習は、大規模言語モデル(LLM)の数学的推論能力を大幅に改善した。
本報告では、Qwen2.5-3Bベースを無線MATHBench-XLからの卒業レベルの信号数学的問題に適用するための強化微調整手法について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training with supervised chain-of-thought fine-tuning and reinforcement learning from verifiable rewards has substantially improved the mathematical reasoning capabilities of large language models (LLMs). However, their application to signal processing problems remains relatively under-explored. This report investigates reinforcement fine-tuning strategies for adapting Qwen2.5-3B-Base to graduate-level signal mathematical problems from WirelessMATHBench-XL, a comprehensive benchmark for mathematical reasoning in this domain. We examine two training paradigms: (i) direct reinforcement learning (RL) on WirelessMATHBench-XL with verifiable rewards; and (ii) supervised fine-tuning (SFT) on a distilled wireless-domain chain-of-thought corpus, followed by the same domain-specific RL stage. Across both paradigms, we benchmark Group Relative Policy Optimization (GRPO), Group Sequence Policy Optimization (GSPO), and Geometric-Mean Policy Optimization (GMPO). We aim to assess whether domain-aware CoT SFT serves as an effective initialization for subsequent RL, and whether GSPO or GMPO offer advantages in stability or accuracy over GRPO for signal reasoning tasks. Our best model achieves an overall accuracy of 39.12\%, representing a more than threefold improvement over the untrained Base model (12.37\%).
- Abstract（参考訳）: 教師付き微調整と検証可能な報酬からの強化学習による後学習は、大規模言語モデル(LLM)の数学的推論能力を大幅に改善した。
しかし、信号処理問題へのそれらの応用は、いまだに未検討のままである。
本報告では、Qwen2.5-3B-Baseを無線MATHBench-XLの卒業レベルの信号数学的問題に適用するための強化微調整手法について検討する。
トレーニングパラダイムを2つ検討する。
(i)無線MATHBench-XLによる直接強化学習(RL)
(II) 蒸留したワイヤレス・ドメイン・オブ・ソート・コーパス上での微調整(SFT)を監督し, 続いて同じドメイン固有のRLステージを施した。
いずれのパラダイムにおいても、GRPO(Group Relative Policy Optimization)、GSPO(Group Sequence Policy Optimization)、GMPO(Geometric-Mean Policy Optimization)をベンチマークする。
我々は,ドメイン認識型 CoT SFT がその後の RL の効果的な初期化に有効であるか,GSPO あるいは GMPO が GRPO よりも信号推論タスクの安定性や精度に優れているかを評価することを目的とする。
我々の最良のモデルは、トレーニングされていないベースモデル(12.37\%)よりも3倍以上の精度で、全体的な精度39.12\%を達成する。
関連論文リスト
- GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning [48.32628338889922]
グループ相対政策最適化は中間段階の無差別な信用割当に苦しむ。
モデルフリーで検証可能なプロセス監視を,モデルが正しい回答を信じているかどうかを判断することによって導入する。
このアプローチにより、よりターゲット的でサンプル効率の良いポリシー更新が可能になる。
論文 参考訳（メタデータ） (2026-04-22T15:08:58Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - MASPO: Unifying Gradient Utilization, Probability Mass, and Signal Reliability for Robust and Sample-Efficient LLM Reasoning [16.012761588513026]
Reinforcement Learning with Verifiable Rewards (RLVR)アルゴリズムは、剛性、均一性、および対称性のある信頼領域機構に依存している。
本稿では,これらの3次元を調和させる統合フレームワークであるMass-Adaptive Soft Policy Optimization (MASPO)を提案する。
MASPOは、勾配ユーティリティを最大化するために、微分可能なソフトガウスゲーティングと、確率スペクトル間の探索のバランスをとる質量適応リミッタと、信号の信頼性を調整するための非対称リスクコントローラを統合している。
論文 参考訳（メタデータ） (2026-02-19T17:05:20Z) - GDEPO: Group Dual-dynamic and Equal-right-advantage Policy Optimization with Enhanced Training Data Utilization for Sample-Constrained Reinforcement Learning [14.111530312590531]
ATP(Automated Theorem Proving)は人工知能(AI)の基本課題である
我々はGDEPO(Group Dual-dynamic and Equal-right-Advantage Policy Optimization)を提案する。
GDEPOには3つのコアメカニズムがある: 1) 有効証明が見つかるまで無効なバッチを再サンプリングする動的追加サンプリング、2) 優位関数の符号をその大きさ(補助的な報酬によって変調される)から切り離して安定かつ正しいポリシー更新を保証する、3) 動的追加イテレーション、そして、最初は失敗するが、最終的にはサンプルを成功させ、挑戦的なケースでの学習を加速する。
論文 参考訳（メタデータ） (2026-01-11T07:34:41Z) - Empowering Multi-Turn Tool-Integrated Reasoning with Group Turn Policy Optimization [20.004150645050537]
Group Turn Policy Optimization (GTPO) は、多ターンツール統合推論タスクにおける大規模言語モデル(LLM)のトレーニング用に設計された、新しい強化学習アルゴリズムである。
GTPOは、各ターンに対してきめ細かいフィードバックを提供するターンレベルの報酬割り当て、リターンベースの利点推定、自己監督型報酬形成という3つの重要なイノベーションを導入している。
総合評価の結果、GTPOは様々な推論ベンチマークでGRPOを平均3.0%上回っていることがわかった。
論文 参考訳（メタデータ） (2025-11-18T19:01:16Z) - CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。
タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。
我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
論文 参考訳（メタデータ） (2025-11-01T04:37:01Z) - MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。
我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。
数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
論文 参考訳（メタデータ） (2025-09-25T14:58:29Z) - Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである
我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文 参考訳（メタデータ） (2025-06-17T17:12:34Z) - Mind the Gap: Bridging Thought Leap for Improved Chain-of-Thought Tuning [54.65050470296886]
本研究では,跳躍を自動的に検出し,中間的推論ステップを欠くことを目的としたCoT Thought Leap Bridge Taskを提案する。
ブリッジされたデータセットに微調整されたモデルが、元のデータセットでトレーニングされたモデルよりも一貫して優れていることを示す。
提案手法は, 蒸留データを効果的に向上させ, 強化学習の出発点として優れたものを提供する。
論文 参考訳（メタデータ） (2025-05-20T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。