論文の概要: Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning

• arxiv url: http://arxiv.org/abs/2601.15160v1
• Date: Wed, 21 Jan 2026 16:38:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.458018
• Title: Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning
• Title（参考訳）: 知識グラフは必然的リワードモデル:合成推論を可能にするパス微分信号
• Authors: Yuval Kansal, Niraj K. Jha,
• Abstract要約: 本稿では,モデルが公理的領域の事実に根ざしたボトムアップ学習パラダイムを提案する。 知識グラフパスから新たな報酬信号を導き出すことで、検証可能でスケーラブルで、根底からの監視を提供する。 実験の結果、経路由来の報酬は「複合橋」として機能し、我々のモデルがより大きなモデルを大幅に上回ることを示した。
• 参考スコア（独自算出の注目度）: 4.464939140209426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have achieved near-expert performance in structured reasoning domains like mathematics and programming, yet their ability to perform compositional multi-hop reasoning in specialized scientific fields remains limited. We propose a bottom-up learning paradigm in which models are grounded in axiomatic domain facts and compose them to solve complex, unseen tasks. To this end, we present a post-training pipeline, based on a combination of supervised fine-tuning and reinforcement learning (RL), in which knowledge graphs act as implicit reward models. By deriving novel reward signals from knowledge graph paths, we provide verifiable, scalable, and grounded supervision that encourages models to compose intermediate axioms rather than optimize only final answers during RL. We validate this approach in the medical domain, training a 14B model on short-hop reasoning paths (1-3 hops) and evaluating its zero-shot generalization to complex multi-hop queries (4-5 hops). Our experiments show that path-derived rewards act as a "compositional bridge", enabling our model to significantly outperform much larger models and frontier systems like GPT-5.2 and Gemini 3 Pro, on the most difficult reasoning tasks. Furthermore, we demonstrate the robustness of our approach to adversarial perturbations against option-shuffling stress tests. This work suggests that grounding the reasoning process in structured knowledge is a scalable and efficient path toward intelligent reasoning.
• Abstract（参考訳）: 大規模言語モデルは、数学やプログラミングのような構造化推論領域において、ほぼ専門的な性能を達成してきたが、特殊科学分野において、構成的マルチホップ推論を行う能力は依然として限られている。 本稿では,モデルが公理的領域の事実に根ざしたボトムアップ学習パラダイムを提案する。 この目的のために,教師付き微調整と強化学習(RL)を組み合わせた後学習パイプラインを提案し,知識グラフが暗黙の報酬モデルとして機能する。 知識グラフパスから新たな報奨信号を導出することにより、RL中の最終解のみを最適化するのではなく、モデルが中間公理を構成することを奨励する検証可能でスケーラブルで根底的な監視を提供する。 医療領域におけるこのアプローチを検証するとともに,ショートホップ推論パス(1-3ホップ)で14Bモデルをトレーニングし,そのゼロショット一般化を複雑なマルチホップクエリ(4-5ホップ)に評価する。 GPT-5.2 や Gemini 3 Pro のような大規模モデルやフロンティアシステムよりもはるかに優れており、最も困難な推論タスクにおいてパス由来の報酬が「複合ブリッジ」として機能することを示す。 さらに,オプションシャッフルストレステストに対する対向的摂動に対するアプローチの堅牢性を示す。 この研究は、構造化知識における推論プロセスの基盤は、インテリジェント推論へのスケーラブルで効率的な経路であることを示唆している。

関連論文リスト

• When Actions Teach You to Think: Reasoning-Action Synergy via Reinforcement Learning in Conversational Agents [2.689316553293938]
  Supervised Fine-tuning (SFT) は、下流タスクにおける大規模言語モデル(LLM)の性能を改善する最も効果的な方法の1つである。 本稿では,LLMがツールの呼び出しと対話エージェントの応答生成の両方を導く推論ステップを生成するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-12-12T04:44:40Z)
• Stabilizing Reinforcement Learning for Honesty Alignment in Language Models on Deductive Reasoning [27.42733470720954]
  本研究では,地上の真実軌道をロールアウトに注入し,早期の訓練崩壊を防ぐ強化学習手法を提案する。 その結果,本手法は学習を安定させ,全体の推論性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2025-11-12T11:34:19Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Interleaved Reasoning for Large Language Models via Reinforcement Learning [22.403928213802036]
  ロングチェーン・オブ・シント(CoT)は、大規模言語モデル(LLM)推論能力を向上する。 本稿では、強化学習(RL)を用いてLLMを指導し、マルチホップ質問に対する思考と回答をインターリーブする新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:58:17Z)
• Phi-4-reasoning Technical Report [42.508165017775]
  Phi-4-reasoningは14ビリオンのパラメータ推論モデルであり、複雑な推論タスクにおいて高い性能を実現する。 我々はPhi-4-reasoning-plusを開発した。 どちらのモデルもDeepSeek-R1-Distill-Llama-70Bモデルのような大きなオープンウェイトモデルよりも優れており、完全なDeepSeek-R1モデルのパフォーマンスレベルに近づいている。
  論文  参考訳（メタデータ） (2025-04-30T05:05:09Z)
• Embodied-R: Collaborative Framework for Activating Embodied Spatial Reasoning in Foundation Models via Reinforcement Learning [58.86928947970342]
  Embodied-Rは、知覚のための大規模視覚言語モデルと推論のための小規模言語モデルを組み合わせたフレームワークである。 わずか5kのエボダイドビデオサンプルのトレーニングの後、Embodied-Rと3B LMは最先端のマルチモーダル推論モデルと一致した。 Embodied-Rは、体系的分析や文脈統合のような創発的な思考パターンも示している。
  論文  参考訳（メタデータ） (2025-04-17T06:16:11Z)
• Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
  この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。 我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。 次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-04-04T17:57:22Z)
• Reasoning Paths Optimization: Learning to Reason and Explore From Diverse Paths [69.39559168050923]
  本稿では,多様な経路から学習の推論と探索を可能にするReasoning Paths Optimization (RPO)を紹介する。 提案手法は,各推論ステップにおいて好意的な分岐を奨励し,好ましくない分岐を罰し,モデル全体の問題解決性能を高める。 我々は,数語問題や理科ベースの試験問題など,多段階の推論タスクに焦点をあてる。
  論文  参考訳（メタデータ） (2024-10-07T06:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。