論文の概要: From Reasoning Strings to Partial Orders: Verifier-Certified Rule Transport through Quotient Policy Optimization
- arxiv url: http://arxiv.org/abs/2609.27833v1
- Date: Thu, 20 Aug 2026 07:28:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.990107
- Title: From Reasoning Strings to Partial Orders: Verifier-Certified Rule Transport through Quotient Policy Optimization
- Title（参考訳）: 文字列の推論から部分順序へ:定性ポリシー最適化による検証済みのルールトランスポート
- Abstract要約: Verifier-Certified Rule Transport (VCRT) は、隣接する操作ペアをネイティブ検証器でリプレイする。
本物の前提条件を保存するために反ダイヤモンドを使用し、各認定軌道の総確率質量にポリシークレジットを割り当てる。
本稿では,ProofWriter,CLRS,Lean間での残余転送を,共有リレーショナルグラフインターフェースを通じて評価する。
- 参考スコア（独自算出の注目度）: 16.40477770836083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many computations admit several valid execution orders because independent subgoals or disjoint state updates can commute. Reinforcement learning with verifiable rewards usually treats each successful trace as a separate token sequence, so serialization choices can be mistaken for logical dependencies. We introduce Verifier-Certified Rule Transport (VCRT), which replays adjacent operation pairs with native verifiers. Pairs whose two orders are accepted and reach the same canonical state provide commutation certificates; rejected or state-changing reversals provide anti-diamonds. VCRT uses anti-diamonds to preserve genuine prerequisites and assigns policy credit to the total probability mass of each certified orbit. It also constrains post-swap consistency, source retention, and policy drift. We evaluate leave-one-environment-out transfer across ProofWriter, CLRS, and Lean through a shared anonymized relation-graph interface. All training and checkpoint decisions are frozen before held-out evaluation, which uses one greedy trajectory per item without search or verifier feedback. VCRT obtains a 77.60% macro pass rate versus 64.53% for the strongest matched baseline, a paired gain of 13.06 points (95% bootstrap CI [12.58, 13.54]). Lean accounts for most of this gain at 33.49 points, while ProofWriter and CLRS improve by 2.85 points on average. Mechanism tests consistently favor anti-diamond supervision, whereas No-Orbit is statistically indistinguishable from full VCRT. The evidence does not establish a general benefit from exact orbit aggregation.
- Abstract（参考訳）: 多くの計算では、独立したサブゴールや切り離された状態更新が通勤できるため、いくつかの有効な実行順序が認められている。
検証可能な報酬を持つ強化学習は、通常、それぞれの成功したトレースを別のトークンシーケンスとして扱うため、シリアライズ選択を論理的依存関係と間違えることができる。
本稿では,隣接する操作ペアをネイティブ検証器で再生するverifier-Certified Rule Transport (VCRT)を提案する。
2つの命令が受理され、同じ標準状態に達するペアは、通勤証明書を提供する。
VCRTは、本物の前提条件を保存するために反ダイヤモンドを使用し、各認定軌道の総確率質量にポリシークレジットを割り当てる。
また、スワップ後の一貫性、ソース保持、ポリシードリフトを制限します。
本稿では,ProofWriter,CLRS,Lean間のLeft-one-environment-out転送を,匿名化されたリレーショナルグラフインタフェースを通じて評価する。
すべてのトレーニングとチェックポイント決定は、検索や検証対象のフィードバックなしで、アイテムごとに1つの欲求軌道を使用する、保持された評価の前に凍結される。
VCRTは77.60%のマクロパスレートを、最強のマッチベースラインでは64.53%に対して、ペアアップした13.06ポイント(95%ブートストラップCI [12.58, 13.54])を得る。
リーンは33.49ポイントで、ProofWriterとCLRSは平均2.85ポイント改善している。
No-Orbitは完全なVCRTと統計的に区別できない。
この証拠は、正確な軌道アグリゲーションの一般的な利点を証明していない。
関連論文リスト
- VERPO: Verified Evidence Regularized Policy Optimization [14.40177244052392]
検証可能な結果報酬は、言語モデルポストトレーニングをガイドするが、シーケンスレベルの利点は、どのトークンレベルの決定を保存または修正すべきかを特定しない。
検証エビデンス正規化政策最適化フレームワークであるVERPOを紹介する。
これは、証拠のない参照復元と署名されたトークンレベルの証拠修正を分離する。
論文 参考訳（メタデータ） (2026-09-05T13:52:18Z) - CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval [0.7161783472741748]
また,ほとんどの検証者コールは,解答精度を実質的に変更することなくスキップ可能であることを示す。
CoVeRゲート剤は、全予算エージェントと常に検証されたベースラインの両方の回答精度をEM点の分数で一致させる。
論文 参考訳（メタデータ） (2026-09-03T02:09:32Z) - EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。
EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
論文 参考訳（メタデータ） (2026-09-02T21:00:35Z) - RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - When Shared Rollouts Fail in Defensive Driving Evaluation: A NAVSIM Score Basis Audit [2.823425836233287]
再シミュレーションベンチマークでは、基準条件付き許しを使用し、ログされた人間の参照がコンプライアンスチャネルに障害が発生した場合、エージェントがクレジットを受け取る。
我々はこのリスクをNAVSIM v2.2のオリジナルシーンシングルステージスコアで評価する。
論文 参考訳（メタデータ） (2026-08-05T14:22:23Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳（メタデータ） (2026-08-05T14:01:10Z) - Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control [0.0]
再帰的なシステムは、過度な失敗が見える前に、崩壊のような状態に入ることができる。
障害が指向性テレメトリパターンに従うかどうかをテストするためのクレームバウンド型ベンチマークフレームワークであるLoopzeroを紹介した。
凍結した2つの公開アーティファクトベンチマークのブリッジを評価する。
論文 参考訳（メタデータ） (2026-05-29T20:12:42Z) - Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。
本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。
CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
論文 参考訳（メタデータ） (2026-03-13T15:48:15Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。