論文の概要: CDRL: Certification-Driven Reinforcement Learning for Neutrino Flavor Model Discovery
- arxiv url: http://arxiv.org/abs/2608.20686v1
- Date: Fri, 21 Aug 2026 02:49:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.352558
- Title: CDRL: Certification-Driven Reinforcement Learning for Neutrino Flavor Model Discovery
- Title（参考訳）: CDRL:ニュートリノフレーバーモデル発見のための認証駆動強化学習
- Abstract要約: シンボリック推論ツールから構造化されたフィードバックを活用するフレームワークであるCDRL(Certification-Driven Reinforcement Learning)を紹介する。
理論粒子物理学におけるニュートリノフレーバーモデル発見におけるCDRLの評価を行った。
- 参考スコア（独自算出の注目度）: 6.429700405993644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many scientific discovery problems require searching combinatorial hypothesis spaces under complex domain constraints. Reinforcement learning (RL) offers a promising approach, but existing methods rely on scalar rewards that provide limited information about why candidate solutions fail, leading agents to repeatedly explore invalid regions. We introduce Certification-Driven Reinforcement Learning (CDRL), a framework that leverages structured feedback from symbolic reasoning tools. When a candidate violates domain constraints, these tools produce certificates identifying the actions responsible for failure. CDRL converts these certificates into reusable constraints that eliminate classes of invalid solutions and guide exploration toward valid regions. We evaluate CDRL on neutrino flavor model discovery in theoretical particle physics, where the hypothesis space exceeds $10^{26}$ possible models, and compare it with the state-of-the-art RL approach previously used for this task. Across three theory spaces, CDRL achieves up to 1.95$\times$ higher valid model rates and up to 6.33$\times$ higher neutrino model rates while evaluating up to 4$\times$ fewer candidates. We further extract 40 interpretable rules from search trajectories using a post-hoc decision-tree framework and show that reusing them as soft constraints yields gains of up to 2$\times$ in valid model rates and 3$\times$ in neutrino model discovery across all three theory spaces. These results suggest that CDRL uncovers reusable structure in combinatorial search spaces and provides a general framework for scientific model discovery.
- Abstract（参考訳）: 多くの科学的発見問題は複雑な領域制約の下で組合せ仮説空間を探索する必要がある。
強化学習(Reinforcement Learning, RL)は有望なアプローチであるが、既存の手法では、候補ソリューションが失敗した理由に関する限られた情報を提供するスカラー報酬に依存しており、エージェントは無効な領域を何度も探索する。
シンボリック推論ツールから構造化されたフィードバックを活用するフレームワークであるCDRL(Certification-Driven Reinforcement Learning)を紹介する。
候補がドメインの制約に違反した場合、これらのツールは障害の原因となるアクションを特定する証明書を生成する。
CDRLはこれらの証明書を再利用可能な制約に変換し、無効なソリューションのクラスを排除し、有効な領域への探索をガイドする。
我々は,理論粒子物理学におけるニュートリノフレーバーモデル発見におけるCDRLの評価を行った。
3つの理論空間にわたって、CDRLは最大1.95$\times$高い有効モデルレートと最大6.33$\times$高いニュートリノモデルレートを達成し、最大4$\times$より少ない候補を評価できる。
さらに、ポストホック決定木フレームワークを用いて、探索軌跡から40個の解釈可能なルールを抽出し、それらをソフト制約として再利用すると、有効モデルレートで最大2$\times$、ニュートリノモデル発見で3$\times$が得られることを示す。
これらの結果から、CDRLは組合せ探索空間における再利用可能な構造を明らかにし、科学モデル発見のための一般的な枠組みを提供することが示唆された。
関連論文リスト
- Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search [32.21307731426909]
大規模言語モデル(LLM)のような生成モデルは、広大で構造化された、そしてオープンな仮説空間に対する表現力のある事前情報を提供する。
本稿では,ベイズ的非パラメトリック報酬代理モデルと生成モデルを結合した経験的基礎的再帰的アーキテクチャであるLarge Discovery Model(LDM)を紹介する。
LDMは、バリデーションBPBの大幅な削減、結合エネルギーの18.2%の相対的な減少、および分子多目的性能の60%以上の相対的なゲインを達成する。
論文 参考訳（メタデータ） (2026-08-16T10:27:06Z) - Learning the ARTS of Search for Automated Discovery [62.89970162621959]
本稿では, 木探索のためのエージェント推論を提案し, 科学的発見を誘導する。
このスペースをナビゲートするために、推論言語モデルをデプロイします。
我々は、ARTSが主要なアルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2026-06-20T05:47:37Z) - Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning [16.73341451930523]
強化学習は新たな戦略を学ばず、ベースモデルがすでに持っている解に対して確率質量を再分配する。
この知見をReasonMaxxerに変換する。これは最小のRLフリーな手法で、エントロピー付き決定点にのみコントラスト損失を適用する。
論文 参考訳（メタデータ） (2026-05-07T13:25:05Z) - Distributional Clarity: The Hidden Driver of RL-Friendliness in Large Language Models [50.99097734404912]
RLフレンドリなモデルでは, クラス内コンパクト性やクラス間分離が, 正誤応答に対する確率割当に現れることを示す。
6つの数学ベンチマークによる実験では、すべてのモデルファミリで一貫した改善が見られ、AIME24では5.9ポイントまで向上した。
論文 参考訳（メタデータ） (2026-01-11T13:34:44Z) - Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。
SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。
我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
論文 参考訳（メタデータ） (2025-06-05T07:53:59Z) - ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。
我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。
これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
論文 参考訳（メタデータ） (2025-05-30T17:59:01Z) - Maximizing Confidence Alone Improves Reasoning [48.83927980325788]
RENT: エントロピー最小化による強化学習(Reinforcement Learning via Entropy Minimization)は、完全な教師なしのRL手法であり、外部の報酬や地道的な回答を必要としない。
得られた回答に高いモデル信頼をもたらす思考の連鎖を強化することで、モデルは推論能力を向上させる。
論文 参考訳（メタデータ） (2025-05-28T17:59:37Z) - Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。
OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。
本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文 参考訳（メタデータ） (2025-02-10T18:57:29Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - Calibration of Derivative Pricing Models: a Multi-Agent Reinforcement
Learning Perspective [3.626013617212667]
量的金融における最も基本的な問題の1つは、与えられたオプションセットの市場価格に適合する連続時間拡散モデルの存在である。
我々の貢献は、この問題の適切なゲーム理論定式化が、現代の深層多エージェント強化学習における既存の発展を活用することで、この問題をいかに解決できるかを示すことである。
論文 参考訳（メタデータ） (2022-03-14T05:34:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。