論文の概要: NormWorlds-CF: Solver-Verified Counterfactual Normative Reasoning with Metamorphic-Relation GRPO

• arxiv url: http://arxiv.org/abs/2607.03957v1
• Date: Sat, 04 Jul 2026 17:11:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.772651
• Title: NormWorlds-CF: Solver-Verified Counterfactual Normative Reasoning with Metamorphic-Relation GRPO
• Title（参考訳）: NormWorlds-CF: メタモルフィックリレーショナルGRPOを用いたソルバー検証反事実ノルム推論
• Abstract要約: NormWorlds-CFは、ルールの世界における反ファクト的規範的推論のための解決法として検証された環境である。 その決定論的解法は、最終回答、証明と偽造証明、引数ステータス、サポートセット、ペア化された世界変更ラベルを生成する。
• 参考スコア（独自算出の注目度）: 1.5483078145498086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models can reach the right normative verdict for the wrong reason. We introduce NormWorlds-CF, a solver-verified environment for counterfactual normative reasoning in executable rule worlds. Its deterministic solver produces final answers, proof and falsification certificates, argument statuses, support sets, and paired-world change labels, enabling supervision and evaluation without LLM judges. The benchmark contains staged SFT diagnostics and a compact paired-world task with 270 root families and 1080 canonical-to-variant pairs. The SFT diagnostics show that final-answer supervision is an unsafe proxy: answer-only SFT reaches perfect accuracy on answer tasks but scores zero on falsification, while proof-plus-falsification training with targeted replay reaches strong all-task accuracy. For the structured-change task, we introduce metamorphic-relation GRPO (MR-GRPO), a class-conditioned reward for GRPO that gives partial credit for relation families and solver-visible change fields. In matched 1.7B continuation experiments, MR-GRPO improves held-out relation accuracy and relation-family correctness, and reduces wrong-family error, compared to sparse and answer-only GRPO. In Qwen3-4B three-seed validation, answer-only reward improves answer-change fields but weakens relation-family structure, sparse reward preserves coarse relation labels best, and MR-GRPO delivers the strongest balanced performance across answer-change, support-change, status-change, and soft root-level metamorphic-relation metrics. These results show that verified counterfactual structure can shape post-training beyond final answers, while exact full change-record generation, invariant subtype recognition, and out-of-distribution (OOD) transfer remain open problems.
• Abstract（参考訳）: 言語モデルは、間違った理由で正しい規範的判断に達することができます。 実行可能ルールの世界における反実的規範的推論のための解決者検証環境であるNormWorlds-CFを紹介する。 その決定論的解法は、最終回答、証明とファルシフィケーション証明書、引数ステータス、サポートセット、ペア化された世界変化ラベルを生成し、LLM審査員なしで監督と評価を可能にする。 ベンチマークにはステージ化されたSFT診断と、270のルートファミリーと1080の標準対を持つコンパクトなペアワールドタスクが含まれている。 SFT診断では、回答のみのSFTは回答タスクで完全精度に達するが、ファルシフィケーションでは0点、ターゲットリプレイによる証明+ファルシフィケーショントレーニングは強い全タスク精度に達する。 構造変化タスクでは,GRPOのクラス条件付き報酬であるメタモルフィック-リレーションGRPO(MR-GRPO)を導入する。 一致した1.7B継続実験では、MR-GRPOはホールドアウト関係精度と関係家族の正しさを改善し、スパースや解答のみのGRPOと比較して誤り家族エラーを低減する。 Qwen3-4B 3系列検証では、応答のみ報酬は応答-変化場を改善するが、関係-家族構造を弱め、スパース報酬は粗い関係ラベルを最良に保ち、MR-GRPOは応答-変更、サポート-変更、ステータス-変更、ソフトルートレベルのメタモルフィック-リレーションのメトリクスで最もバランスの取れたパフォーマンスを提供する。 これらの結果から, 検証済みの反事実構造は, 最終回答を超越し, 正確な完全変化記録生成, 不変部分型認識, アウト・オブ・ディストリビューション(OOD)転送が未解決の問題のままであることがわかった。

関連論文リスト

• DCGC: Draft-Conditioned Global Correction for Complex Reasoning with Masked Diffusion Models [5.2113270099125915]
  大域的補正のためのMasked Diffusion Model (MDM) フレームワークは、上流ソルバからの不完全な解のドラフトを補助的文脈として利用する。 DCGCは、タスク固有のSupervised Fine-Tuning(SFT)と、Dynamic Dual-CFGと呼ばれる新しい推論時間メカニズムを組み合わせる。
  論文  参考訳（メタデータ） (2026-08-26T06:35:26Z)
• INFUSER: Influence-Guided Self-Evolution Improves Reasoning [54.101135873140066]
  2つの共進化的役割を持つ反復的協調学習フレームワークを導入する。 解答器は、生成元が提供する回答に対して標準正当性報酬で訓練される。 8B INF共進化ジェネレータは、数学とコーディングにおいて凍った32B思考ジェネレータより優れている。
  論文  参考訳（メタデータ） (2026-06-08T05:40:36Z)
• Grounded Decoding: Retrieval-Anchored Probability Fusion for Faithful RAG [6.324418485299426]
  大規模な言語モデルは、競合が発生したとき、検索された情報よりもパラメトリックな知識を優先することができる。 本稿では,モデルパラメータを変更することなくRAGの現実的整合性を改善するために,新しいトレーニングフリーデコーディングフレームワークであるemphGrounded Decodingを提案する。 以上の結果から, 確率レベルの融合は, 忠実なRAG復号化のためのロジットレベルの介入法に代わる, 強力かつ効率的な代替手段となることが示唆された。
  論文  参考訳（メタデータ） (2026-05-29T23:47:39Z)
• LC-ERD: Mining Latent Logic for Self-Evolving Reasoning via Consistency-Regulated Reward Decomposition [55.572260012037084]
  本稿では, LC-ERD (Logic-Consistent Endogenous Reward Decomposition) を紹介する。 モデルの潜在論理エキスパートズ(Latent Logic Expertise)からのコンセンサスを集約することで、変分論理ポテンシャルを導出する。 LC-ERDは、論理の一貫性と正確性の間のトレードオフを明らかにする、堅牢な自己進化パスを提供する。
  論文  参考訳（メタデータ） (2026-05-19T07:27:50Z)
• Interactive Critique-Revision Training for Reliable Structured LLM Generation [18.00222080273147]
  DPA-GRPOは,構成された検証器の介入による2人プレイヤジェネレータゲームのためのペアアクショントレーニング手法である。 我々は,非正規化ゲームを分析し,厳格に低いリワード介入やリビジョン行動に対する肯定的な確率が,一側偏差を生み出すことを示す。 TaxCalc TY24の実験では、DPA-GRPOはゼロショット生成とジェネレータのみのRLベースラインよりも構造化された決定精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-08T17:00:38Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• VERGE: Formal Refinement and Guidance Engine for Verifiable LLM Reasoning [4.3414302048068745]
  本稿では,大規模言語モデルとSMTソルバを組み合わせたニューロシンボリック・フレームワークを提案する。 本稿では,(1)形式的意味的等価性チェックによるマルチモデルコンセンサス,(2)適切な検証戦略に異なるクレーム型を指示するセマンティックルーティング,(3)最小補正サブセットによる正確な論理的エラーローカライゼーション,の3点を紹介する。 GPT-OSS-120Bモデルでは、VERGEはシングルパスアプローチと比較して、一連の推論ベンチマークにおいて平均18.7%の性能向上を示す。
  論文  参考訳（メタデータ） (2026-01-27T20:59:11Z)
• Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
  HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。 HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
  論文  参考訳（メタデータ） (2025-10-08T17:09:41Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。