論文の概要: CoSineVerifier: Tool-Augmented Answer Verification for Computation-Oriented Scientific Questions
- arxiv url: http://arxiv.org/abs/2512.01224v1
- Date: Mon, 01 Dec 2025 03:08:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.658988
- Title: CoSineVerifier: Tool-Augmented Answer Verification for Computation-Oriented Scientific Questions
- Title（参考訳）: CoSineVerifier:計算指向科学質問に対するツール拡張回答検証
- Authors: Ruixiang Feng, Zhenwei An, Yuntao Wen, Ran Le, Yiming Jia, Chen Yang, Zongchao Chen, Lisi Chen, Shen Gao, Shuo Shang, Yang Song, Tao Zhang,
- Abstract要約: 本稿では,外部ルーリックを利用して正確な計算と記号の単純化を行うツール拡張検証器モデルを提案する。
STEM科目、一般QA、長文推論タスクで行った実験は、モデルの強力な一般化を示している。
- 参考スコア（独自算出の注目度）: 32.14674040685995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Answer verification methods are widely employed in language model training pipelines spanning data curation, evaluation, and reinforcement learning with verifiable rewards (RLVR). While prior work focus on developing unified verifiers applicable across multiple reasoning scenarios, significant challenges remain in computation-oriented scientific domains, such as algebraic equivalence checking and physical constant substitution. In this paper, we introduce \model, a tool-augmented verifier that leverages external executors to perform precise computations and symbolic simplifications. \model enables robust verification that goes beyond simple semantic matching. We propose a novel two-stage pipeline, which begin with cold-start fine-tuning and followed by multi-turn reinforcement learning with tool integration. Extensive experiments conducted on STEM subjects, general QA, and long-form reasoning tasks demonstrates strong generalization of \model. The results shows that the \model achieves state-of-the-art performance on VerifyBench-Hard and SCI-Bench. And we also employ our \model in RLVR as a reward model, the results show that it consistently outperforms both rubric-based and model-based verifiers on AIME'24 and AIME'25, demonstrating strong potential to enhance reasoning capabilities of LLM. Our model is released at \hyperlink{https://huggingface.co/Nanbeige/CoSineVerifier-Tool-4B}{https://huggingface.co/Nanbeige/CoSineVerifier-Tool-4B}.
- Abstract（参考訳）: データキュレーション、評価、強化学習にまたがる言語モデルトレーニングパイプラインにおいて、検証可能な報酬(RLVR)を用いた解答検証手法が広く採用されている。
先行研究では、複数の推論シナリオに適用可能な統一検証器の開発に焦点が当てられていたが、代数的等価性チェックや物理定数置換といった計算指向の科学領域では大きな課題が残っている。
本稿では,外部エグゼクタを利用して正確な計算と記号の単純化を行うツール拡張検証器である \model を紹介する。
\modelは単純なセマンティックマッチング以上の堅牢な検証を可能にする。
コールドスタート微調整から始まり,その後ツール統合による多ターン強化学習を行う新しい2段階パイプラインを提案する。
STEM科目、一般QA、および長文推論タスクで実施された広範囲な実験は、 \model の強い一般化を示している。
その結果, モデルがVerifyBench-HardおよびSCI-Bench上での最先端性能を達成した。
また, 報奨モデルとしてRLVRのモデルを用いた結果, AIME'24 と AIME'25 のルーブリックベースの検証とモデルベースの検証を一貫して上回り, LLM の推論能力を高める可能性を示した。
我々のモデルは \hyperlink{https://huggingface.co/Nanbeige/CoSineVerifier-Tool-4B}{https://huggingface.co/Nanbeige/CoSineVerifier-Tool-4B} でリリースされる。
関連論文リスト
- GRAD: Generative Retrieval-Aligned Demonstration Sampler for Efficient Few-Shot Reasoning [6.371118178107715]
大規模言語モデル(LLM)は様々なタスクで高いパフォーマンスを達成する。
Retrieval-Augmented Generation (RAG)は外部情報でプロンプトを豊かにするが、静的データベースへの依存は適応性を制限する。
本稿では,GRAD(Generative Retrieval-Aligned Demonstrator)を提案する。
論文 参考訳（メタデータ） (2025-10-01T17:52:41Z) - Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。
これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。
また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
論文 参考訳（メタデータ） (2025-08-12T09:45:19Z) - Reinforcement learning fine-tuning of language model for instruction following and math reasoning [0.0]
コンパクト言語モデル(Qwen2.5-0.5Bベース)における強化学習手法の有効性について検討する。
本研究では, 教師付き微調整(SFT), 嗜好ラベル付きデータを用いた直接選好最適化(DPO), 報酬モデルによるReinforce Leave-One-Out(RLOO)を比較した。
実験により、DPOが強固で一貫した結果をもたらすのに対し、DeBERTaの報酬モデリングを用いたROOは最適なアライメントを実現することが示された。
論文 参考訳（メタデータ） (2025-06-11T22:49:42Z) - VerIF: Verification Engineering for Reinforcement Learning in Instruction Following [55.60192044049083]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の強化の鍵となる技術となっている。
ルールベースのコード検証とLLMベースの大規模な推論モデルによる検証を組み合わせた検証手法であるVerIFを提案する。
我々はVerIFを用いたRLトレーニングを2つのモデルに適用し、いくつかの代表的な命令追従ベンチマークで大幅に改善した。
論文 参考訳（メタデータ） (2025-06-11T17:10:36Z) - Incentivizing LLMs to Self-Verify Their Answers [22.387551134333084]
本稿では,大規模言語モデルにインセンティブを与え,自己検証を行うフレームワークを提案する。
我々はQwen2.5-Math-7BとDeepSeek-R1-Distill-Qwen-1.5Bに基づいて自己検証モデルを訓練する。
複数の数学的推論ベンチマークの実験は、我々のモデルがトレーニング後の性能を改善するだけでなく、効果的なテスト時間スケーリングを可能にすることを示している。
論文 参考訳（メタデータ） (2025-06-02T06:54:29Z) - Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。
大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。
従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文 参考訳（メタデータ） (2025-04-10T04:09:47Z) - Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。
当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。
当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
論文 参考訳（メタデータ） (2025-03-31T07:31:32Z) - OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。
OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
論文 参考訳（メタデータ） (2025-03-21T17:52:43Z) - Estimating Knowledge in Large Language Models Without Generating a Single Token [12.913172023910203]
大規模言語モデル(LLM)における知識を評価するための現在の手法は、モデルをクエリし、生成した応答を評価する。
本研究では,モデルがテキストを生成する前に評価を行うことができるかどうかを問う。
様々なLLMを用いた実験では、内部の主題表現を訓練した単純なプローブであるKEENが、両方のタスクで成功することが示された。
論文 参考訳（メタデータ） (2024-06-18T14:45:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。