Fugu-MT 論文翻訳(概要): BeamPERL: Parameter-Efficient RL with Verifiable Rewards Specializes Compact LLMs for Structured Beam Mechanics Reasoning

論文の概要: BeamPERL: Parameter-Efficient RL with Verifiable Rewards Specializes Compact LLMs for Structured Beam Mechanics Reasoning

arxiv url: http://arxiv.org/abs/2603.04124v1
Date: Wed, 04 Mar 2026 14:42:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-05 21:29:15.349503
Title: BeamPERL: Parameter-Efficient RL with Verifiable Rewards Specializes Compact LLMs for Structured Beam Mechanics Reasoning
Title（参考訳）: BeamPERL: 構造的ビーム力学推論のための小型LLMを特化したパラメータ効率RL
Authors: Tarjei Paule Hage, Markus J. Buehler,
Abstract要約: 厳密な物理報酬による強化学習は、支配方程式の内部化よりも手続き的な解テンプレートを誘導する。以上の結果から,検証可能な報酬を構造化推論足場と組み合わせて,テンプレートマッチングを超えて堅牢な科学的推論に移行する必要がある可能性が示唆された。
参考スコア（独自算出の注目度）: 1.1458853556386797
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Can reinforcement learning with hard, verifiable rewards teach a compact language model to reason about physics, or does it primarily learn to pattern-match toward correct answers? We study this question by training a 1.5B-parameter reasoning model on beam statics, a classic engineering problem, using parameter-efficient RLVR with binary correctness rewards from symbolic solvers, without teacher-generated reasoning traces. The best BeamPERL checkpoint achieves a 66.7% improvement in Pass@1 over the base model. However, the learned competence is anisotropic: the model generalizes compositionally (more loads) but fails under topological shifts (moved supports) that require the same equilibrium equations. Intermediate checkpoints yield the strongest reasoning, while continued optimization degrades robustness while maintaining reward. These findings reveal a key limitation of outcome-level alignment: reinforcement learning with exact physics rewards induces procedural solution templates rather than internalization of governing equations. The precision of the reward signal - even when analytically exact - does not by itself guarantee transferable physical reasoning. Our results suggest that verifiable rewards may need to be paired with structured reasoning scaffolding to move beyond template matching toward robust scientific reasoning.
Abstract（参考訳）: 強固で検証可能な報酬を持つ強化学習は、物理学を推論するためにコンパクトな言語モデルを教えることができるだろうか? 本研究では,従来の工学的問題であるビームスタティックスを用いた1.5Bパラメータ推論モデルを学習し,教師が生成した推論トレースを使わずに,シンボリックソルバから2値の正当性を持つパラメータ効率の高いRLVRを用いて検討する。最高のBeamPERLチェックポイントは、ベースモデルよりもPass@1が66.7%改善されている。しかし、学習能力は異方性であり、モデルは合成(より多くの負荷)を一般化するが、同じ平衡方程式を必要とする位相シフト(移動された支持)の下で失敗する。中間チェックポイントは最大の推論となり、継続的な最適化は報酬を維持しながら堅牢性を低下させる。厳密な物理報酬を持つ強化学習は、支配方程式の内部化よりも手続き的な解テンプレートを誘導する。報酬信号の精度(たとえ解析的に正確であっても)は、それ自体が伝達可能な物理的推論を保証するものではない。以上の結果から,検証可能な報酬を構造化推論足場と組み合わせて,テンプレートマッチングを超えて堅牢な科学的推論に移行する必要がある可能性が示唆された。

関連論文リスト

LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards [51.45138356629732]
我々は,疎解報酬を高密度で検証可能な文脈報酬で増強するためにLongRLVRを導入する。この補助信号は、正しい接地情報を選択するためのモデルを直接インセンティブ化する。 LongRLVRは、すべてのモデルとベンチマークで標準のRLVRよりも一貫して、大幅に優れています。
論文参考訳（メタデータ） (2026-03-02T18:07:53Z)
Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
論文参考訳（メタデータ） (2026-02-09T10:41:44Z)
From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。このようにして、RLVRRは報酬を2つの次元に分解する。
論文参考訳（メタデータ） (2026-01-26T14:39:58Z)
EpiCaR: Knowing What You Don't Know Matters for Better Reasoning in LLMs [9.412828452977553]
既存のアプローチは成功した推論パスを強化し、かなりのキャリブレーションコストを発生させる。この失敗は、アライメントにおけるモデル崩壊の一形態として特徴づけられている。推論性能とキャリブレーションを協調的に最適化する訓練目標として,EpiCaRを提案する。
論文参考訳（メタデータ） (2026-01-11T06:21:13Z)
Training LLMs with LogicReward for Faithful and Rigorous Reasoning [75.30425553246177]
定理証明器を用いてステップレベルの論理的正しさを強制することでモデルトレーニングを指導する報酬システムであるLogicRewardを提案する。 LogicRewardで構築されたデータに基づいてトレーニングされた8Bモデルは、GPT-4oとo4-miniを11.6%、自然言語推論と論理的推論タスクで2%超えた。
論文参考訳（メタデータ） (2025-12-20T03:43:02Z)
Stabilizing Reinforcement Learning for Honesty Alignment in Language Models on Deductive Reasoning [27.42733470720954]
本研究では,地上の真実軌道をロールアウトに注入し,早期の訓練崩壊を防ぐ強化学習手法を提案する。その結果,本手法は学習を安定させ,全体の推論性能を大幅に向上させることを示した。
論文参考訳（メタデータ） (2025-11-12T11:34:19Z)
Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。 HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
論文参考訳（メタデータ） (2025-10-08T17:09:41Z)
Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL [19.659532349434418]
強化学習(Reinforcement Learning, RL)は、近年、大規模言語モデルの推論能力を強化する主要なパラダイムとなっている。しかし、数学やプログラミングのベンチマークで一般的に使われるルールベースの報酬関数は、応答形式と正しさのみを評価する。本稿では,報酬と有利な信号の両方を再生するプラグイン・アンド・プレイのRL報酬フレームワークであるDynamic Reasoning Efficiency Reward (DRER)を提案する。
論文参考訳（メタデータ） (2025-09-07T11:52:18Z)
Distilling the Implicit Multi-Branch Structure in LLMs' Reasoning via Reinforcement Learning [63.888013006686364]
教師による微調整(SFT)による教師から生徒への推論経路の蒸留は、大規模言語モデル(LLM)の推論能力を向上させるショートカットを提供する。 GSRM(Generative Structure Reward Model)による強化学習に基づく蒸留フレームワークRLKDを提案する。 GSRMは、推論パスを複数のメタ推論解決ステップに変換し、報酬を計算して、学生と教師の推論の構造的アライメントを測定する。
論文参考訳（メタデータ） (2025-05-22T02:36:36Z)
Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning [23.99454995087634]
大規模推論モデルにおけるルールベース強化学習の可能性について検討する。合成論理パズルは, 制御可能な複雑性と簡単な解答検証により, 学習データとして用いられる。我々の7Bモデルは、論理コーパスにはない、リフレクション、検証、要約のような高度な推論スキルを発達させる。
論文参考訳（メタデータ） (2025-02-20T17:49:26Z)
Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文参考訳（メタデータ） (2025-02-10T18:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。