論文の概要: Knowledge-to-Verification: Exploring RLVR for LLMs in Knowledge-Intensive Domains

• arxiv url: http://arxiv.org/abs/2605.18261v1
• Date: Mon, 18 May 2026 11:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.51009
• Title: Knowledge-to-Verification: Exploring RLVR for LLMs in Knowledge-Intensive Domains
• Title（参考訳）: 知識と検証:知識集約型ドメインにおけるLLMのためのRLVR探索
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高める有望な可能性を示している。 自動検証データ合成により,RLVRを知識集約領域に拡張するフレームワークであるK2V(Knowledge-to-Verification)を提案する。
• 参考スコア（独自算出の注目度）: 30.599618206614124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has demonstrated promising potential to enhance the reasoning capabilities of large language models (LLMs) in domains such as mathematics and coding. However, its applications on knowledge-intensive domains have not been effectively explored due to the scarcity of high-quality verifiable data. Furthermore, current RLVR focuses solely on the correctness of final answers, leading to the limitations of flawed reasoning and sparse reward signals. In this work, we propose Knowledge-to-Verification (K2V), a framework that extends RLVR to knowledge-intensive domains through automated verifiable data synthesis, while enabling verification of the LLM's reasoning process. Extensive experiments demonstrate that K2V enhances the reasoning of LLM in knowledge-intensive domains without significantly compromising the model's general capabilities. This study also suggests that integrating automated data synthesis with reasoning verification is a promising direction to enhance model capabilities in these broader domains. Code is available at https://github.com/SeedScientist/K2V.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、数学やコーディングといった分野における大規模言語モデル(LLM)の推論能力を高める有望な可能性を実証している。 しかし、その知識集約ドメインへの応用は、高品質な検証可能なデータの不足のため、効果的に検討されていない。 さらに、現在のRLVRは最終回答の正しさにのみ焦点を合わせており、欠点のある推論とスパース報酬信号の制限につながっている。 本研究では,LLMの推論プロセスの検証を可能としつつ,自動検証データ合成により,RLVRを知識集約領域に拡張するフレームワークであるK2Vを提案する。 実験の結果,K2V は知識集約領域における LLM の推論を,モデルの汎用能力を著しく損なうことなく促進することを示した。 本研究は,これらの領域において,自動データ合成と推論検証を統合することが,モデル機能の向上に有望な方向であることを示唆している。 コードはhttps://github.com/SeedScientist/K2Vで入手できる。

関連論文リスト

• Reasoning-Aware AIGC Detection via Alignment and Reinforcement [55.09684020007737]
  REVEALは、分類の前に解釈可能な推論チェーンを生成するフレームワークである。 複数のベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-04-21T07:29:55Z)
• Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs [35.27561531876348]
  本稿では,LLVRを用いた強化学習が大規模言語モデル(LLM)に及ぼす影響を体系的に検討する。 RLVRは数学的タスクとコーディングタスクの両方の推論境界を拡張可能であることを示す。 本稿では,RLVRのインセンティブメカニズムを説明する理論的枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-06-17T07:06:56Z)
• VerIF: Verification Engineering for Reinforcement Learning in Instruction Following [55.60192044049083]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の強化の鍵となる技術となっている。 ルールベースのコード検証とLLMベースの大規模な推論モデルによる検証を組み合わせた検証手法であるVerIFを提案する。 我々はVerIFを用いたRLトレーニングを2つのモデルに適用し、いくつかの代表的な命令追従ベンチマークで大幅に改善した。
  論文  参考訳（メタデータ） (2025-06-11T17:10:36Z)
• General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
  強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。 本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。 私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
  論文  参考訳（メタデータ） (2025-05-20T17:41:33Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)
• Leveraging Large Language Models for Explainable Activity Recognition in Smart Homes: A Critical Evaluation [0.29998889086656577]
  XAIは、スマートホームにおけるセンサによる日常生活活動(ADL)認識に適用されている。 本稿では,XAIとLarge Language Models(LLM)を組み合わせたセンサを用いたADL認識の可能性について検討する。
  論文  参考訳（メタデータ） (2025-03-20T18:23:03Z)
• Large Language Model Enhanced Knowledge Representation Learning: A Survey [15.602891714371342]
  知識表現学習(KRL)は、知識グラフから下流タスクへの記号的知識の適用を可能にするために重要である。 この研究は、これらの進化する領域における新たな研究方向を同時に特定しながら、下流のタスクの広範な概要を提供する。
  論文  参考訳（メタデータ） (2024-07-01T03:37:35Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。