論文の概要: Learning from Synthetic Data Improves Multi-hop Reasoning

• arxiv url: http://arxiv.org/abs/2603.02091v1
• Date: Mon, 02 Mar 2026 17:08:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.99856
• Title: Learning from Synthetic Data Improves Multi-hop Reasoning
• Title（参考訳）: 合成データからの学習はマルチホップ推論を改善する
• Authors: Anmol Kabra, Yilun Yin, Albert Gong, Kamilė Stankevičiūtė, Dongyoung Go, Johann Lee, Katie Z. Luo, Carla P. Gomes, Kilian Q. Weinberger,
• Abstract要約: 強化学習(RL)は、数学、コーディング、マルチホップ推論タスクにおいて、大きな言語モデル(LLM)の推論能力を大幅に向上することが示されている。 本研究では,マルチホップ推論タスクのためのルール生成合成データのRLファインタニングについて検討する。
• 参考スコア（独自算出の注目度）: 31.79471776662371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) has been shown to significantly boost reasoning capabilities of large language models (LLMs) in math, coding, and multi-hop reasoning tasks. However, RL fine-tuning requires abundant high-quality verifiable data, often sourced from human annotations, generated from frontier LLMs, or scored by LLM-based verifiers. All three have considerable limitations: human-annotated datasets are small and expensive to curate, LLM-generated data is hallucination-prone and costly, and LLM-based verifiers are inaccurate and slow. In this work, we investigate a cheaper alternative: RL fine-tuning on rule-generated synthetic data for multi-hop reasoning tasks. We discover that LLMs fine-tuned on synthetic data perform significantly better on popular real-world question-answering benchmarks, despite the synthetic data containing only fictional knowledge. On stratifying performance by question difficulty, we find that synthetic data teaches LLMs to compose knowledge -- a fundamental and generalizable reasoning skill. Our work highlights rule-generated synthetic reasoning data as a free and scalable resource to improve LLM reasoning capabilities.
• Abstract（参考訳）: 強化学習(RL)は、数学、コーディング、マルチホップ推論タスクにおいて、大きな言語モデル(LLM)の推論能力を大幅に向上することが示されている。 しかし、RLファインチューニングは、人間のアノテーションから生成される、フロンティアLSMから生成される、あるいはLLMベースの検証器によってスコアされる、豊富な高品質な検証データを必要とする。 ヒトの注釈付きデータセットは小さくて費用がかかるし、LLM生成データは幻覚が原因でコストがかかり、LLMベースの検証器は不正確で遅い。 本研究では,マルチホップ推論タスクのためのルール生成合成データのRLファインタニングについて検討する。 合成データに微調整を施したLLMは、フィクションの知識のみを含む合成データにもかかわらず、一般的な実世界の質問応答ベンチマークにおいて著しく優れた性能を発揮することが判明した。 疑わしい難易度による性能の成層化について、合成データはLLMに知識 - 基本的で一般化可能な推論スキル - を構築することを教える。 我々の研究は、LLM推論能力を向上させるために、自由でスケーラブルなリソースとしてルール生成された合成推論データを強調する。

関連論文リスト

• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• SciDA: Scientific Dynamic Assessor of LLMs [18.120612887031598]
  LLM(Large Language Models)推論機能により、科学的問題を解決することができる。 既存のベンチマークでは、データ汚染のリスクに直面するか、関連する規律が欠如している。 SciDAは,オリンピックレベルの数値計算問題を1万個以上含む,多分野のベンチマークである。
  論文  参考訳（メタデータ） (2025-06-15T16:57:14Z)
• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning [50.419872452397684]
  Search-R1は推論フレームワークのための強化学習の拡張である。 リアルタイム検索とステップバイステップ推論の間に検索クエリを生成する。 性能は41%(Qwen2.5-7B)、20%(Qwen2.5-3B)で改善されている。
  論文  参考訳（メタデータ） (2025-03-12T16:26:39Z)
• Agent Trading Arena: A Study on Numerical Understanding in LLM-Based Agents [69.58565132975504]
  大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示した。 LLMをベースとしたエージェントが競合するマルチエージェント取引を行う仮想ゼロサム株式市場であるエージェントトレーディングアリーナを提示する。
  論文  参考訳（メタデータ） (2025-02-25T08:41:01Z)
• Escaping Collapse: The Strength of Weak Data for Large Language Model Training [15.77316232527746]
  LLMの性能を継続的に向上させるために、どの程度のキュレーションが必要なのかを理論的に検討する枠組みを開発する。 非合成トレーニングデータのほとんどすべてが品質が悪い場合でも、最適なLCMに収束する訓練手順を述べる。
  論文  参考訳（メタデータ） (2025-02-13T03:20:37Z)
• FactCG: Enhancing Fact Checkers with Graph-Based Multi-Hop Data [13.108807408880645]
  本稿では,文書から抽出したコンテキストグラフのマルチホップ推論を利用した合成データ生成手法であるCG2Cを提案する。 我々のファクトチェッカーモデルであるFactCGは、同じバックボーンモデルを用いて、より接続された推論によるパフォーマンスの向上を示す。
  論文  参考訳（メタデータ） (2025-01-28T18:45:07Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
  GPT-4レベルの性能を持つが400倍の低コストでファクトチェックモデルを構築する方法を示す。 GPT-4を用いて合成トレーニングデータを構築することで,現実的かつ困難な事実エラーの事例を生成する。 評価のために, ファクトチェックとグラウンドグラウンド化に関する最近の研究から得られたデータセットを, 新たなベンチマーク LLM-AggreFact に統一する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:10Z)
• Under the Surface: Tracking the Artifactuality of LLM-Generated Data [21.002983022237604]
  この研究は、人工データの生成において、大きな言語モデル(LLM)の役割を拡大するものである。 我々の知る限りでは、多種多様な LLM 生成テキストデータを収集する最初の研究である。 人工データの人間のパフォーマンスにマッチする能力にもかかわらず、本論文は重大な隠蔽格差を明らかにした。
  論文  参考訳（メタデータ） (2024-01-26T07:53:27Z)
• Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
  大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。 LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
  論文  参考訳（メタデータ） (2023-04-28T19:00:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。