論文の概要: A Verifier-Guided Explainable Reasoning Framework with Gold-Anchored QLoRA, Task-Aware Mixture-of-Experts, and Group-Relative RLVR
- arxiv url: http://arxiv.org/abs/2609.05221v1
- Date: Fri, 04 Sep 2026 14:52:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.07551
- Title: A Verifier-Guided Explainable Reasoning Framework with Gold-Anchored QLoRA, Task-Aware Mixture-of-Experts, and Group-Relative RLVR
- Title（参考訳）: ゴールドアンコールQLoRA, タスク・アウェア・ミックス・オブ・エクスプット, グループ・リレーショナルRLVRを用いた検証型説明可能な推論フレームワーク
- Abstract要約: 大規模言語モデル(LLM)は、強い推論能力を示すが、それらの説明は一貫性がなく、基盤が弱く、検証が難しい。
我々は,ゴールドアンコールQLoRA,タスク認識型シンボリックルーティング,グループ相対RLVRを組み合わせた検証者ガイドによる説明可能な推論フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) show strong reasoning ability, but their explanations can remain inconsistent, weakly grounded, or difficult to verify. We propose a verifier-guided explainable reasoning framework for transparent educational question answering that combines gold-anchored QLoRA, task-aware symbolic routing, and group-relative RLVR. Qwen2.5-3B-Instruct is first adapted with field-weighted QLoRA supervision anchored to authoritative answers. A lightweight router then assigns logic problems to a FOL/Z3 verifier and physics problems to a formula- and unit aware symbolic solver. Verifier feedback is further used to support candidate evaluation, self-revision, and reward construction during RLVR. Candidate responses are evaluated along three complementary dimensions: P1 for answer correctness, P2 for evidence or unit consistency, and P3 for reasoning depth and explainability. At inference, gold-free self-consistency aggregates multiple candidate responses before an optional question-only physics verifier performs conservative system-level correction. On 438 held-out examples, RLVR increases P3 from 50.68% to 72.20%, while hybrid P1 remains approximately stable at 55.94%. Self-consistency improves model only P1 from 48.86% to 50.23%, with symbolic verification providing the remaining hybrid gain. These results indicate that RLVR primarily strengthens explicit reasoning structure, while symbolic verification complements the neural policy by improving answer reliability at the system level.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、強い推論能力を示すが、それらの説明は一貫性がなく、基盤が弱く、検証が難しい。
我々は,ゴールドアンコールQLoRA,タスク認識型シンボリックルーティング,グループ関連RLVRを組み合わせた,透明な教育質問応答のための検証者ガイドによる説明可能な推論フレームワークを提案する。
Qwen2.5-3B-インストラクトは、まず、権威的な答えに固定されたフィールド重み付きQLoRAインスペクタで適合する。
軽量ルータは、論理問題をFOL/Z3検証器に割り当て、物理問題を式と単位を意識した記号解決器に割り当てる。
検証フィードバックは、RLVR中の候補評価、自己修正、報酬構築をサポートするためにさらに使用される。
P1は答えの正しさ、P2は証拠または単位整合性、P3は深さと説明可能性の推論である。
金のない自己整合性は、任意の質問専用物理検証器が保守的なシステムレベルの補正を行う前に、複数の候補応答を集約する。
438例では、RLVRはP3を50.68%から72.20%に増加させ、ハイブリッドP1は55.94%とほぼ安定である。
自己整合性はモデルP1を48.86%から50.23%に改善し、残りのハイブリッドゲインを象徴的に検証する。
これらの結果から,RLVRは主に明示的推論構造を強化し,シンボリック検証はシステムレベルでの回答信頼性を向上させることによって神経政策を補完することが明らかとなった。
関連論文リスト
- SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - SVR-R1: Bootstrapping Multi-modal Reasoning with Self-verification in Reinforcement Learning [47.4480595602701]
本稿では、モデル自身の検証をマルチモーダル推論のための学習信号に変換するマルチターンRLフレームワークであるSelf-Verified Reasoner(SVR-R1)を紹介する。
各クエリに対して、同じ重みを使って回答を提案し、バイナリの自己予測(Yes/No)を発行する。
No'は第2のチャンスを再考し、"Yes"(ターンキャップ)は結果ベースの報酬を計算するためのアウトプットを確定する。
論文 参考訳（メタデータ） (2026-07-13T00:21:30Z) - Soft-SVeRL: Self-Verified Reinforcement Learning with Soft Rewards [24.040621624203823]
Reinforcement Learning from Verifiable Rewards (RLVR)は、数学やコードなどの分野における言語モデルを改善している。
本稿では,分解された学習信号から強化学習を行うフレームワークであるSoft-RLVRを紹介する。
自己検証は、過度に許容される自己判断からインフレーションを報いる傾向があり、この崩壊を防ぐために明確な安定化が必要であることを示す。
論文 参考訳（メタデータ） (2026-05-27T14:50:53Z) - Outcome Rewards Do Not Guarantee Verifiable or Causally Important Reasoning [42.998601712623525]
RLVRは、一般的に考えられているように、モデルが推論に依存しているとは限らないことを示す。
この問題は、訓練後の手順に簡単な修正を加えて修正することができる。
論文 参考訳（メタデータ） (2026-04-23T21:01:34Z) - Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。
本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。
CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
論文 参考訳（メタデータ） (2026-03-13T15:48:15Z) - Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。
本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。
提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-09T10:41:44Z) - P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。
P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
論文 参考訳（メタデータ） (2026-01-28T14:35:20Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - EviNote-RAG: Enhancing RAG Models via Answer-Supportive Evidence Notes [39.61443457073034]
EviNote-RAGは検索ノート・アンサーのワークフローに従うフレームワークである。
生の外部情報を直接推論する代わりに、モデルが最初にサポート・エビデンス・ノートを生成する。
EviNote-RAGは最先端のパフォーマンスを実現し、回答の正確性、トレーニングの安定性、堅牢性、効率性を向上する。
論文 参考訳（メタデータ） (2025-08-31T14:44:45Z) - RLPR: Extrapolating RLVR to General Domains without Verifiers [103.14103272635893]
本稿では,RLVRを汎用ドメインに外挿するシンプルな検証不要なフレームワークであるRLPRを提案する。
このノイズの多い確率報酬の高分散に対処することが、それを機能させるためには不可欠である。
RLPRはGemma、Llama、Qwenベースのモデルの両方の領域における推論機能の改善を一貫して行っている。
論文 参考訳（メタデータ） (2025-06-23T02:56:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。