論文の概要: GRIP: A Graph-Based Reasoning Instruction Producer

• arxiv url: http://arxiv.org/abs/2412.08864v4
• Date: Mon, 22 Sep 2025 05:18:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 14:36:44.661769
• Title: GRIP: A Graph-Based Reasoning Instruction Producer
• Title（参考訳）: GRIP:グラフベースの推論インストラクションプロデューサ
• Authors: Jiankang Wang, Jianjun Xu, Xiaorui Wang, Yuxin Wang, Mengting Xing, Shancheng Fang, Hongtao Xie,
• Abstract要約: textbfGraphベースのtextbfReasoning textbfInstruction textbfProducer について述べる。
• 参考スコア（独自算出の注目度）: 47.80560026838563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale, high-quality data is essential for advancing the reasoning capabilities of large language models (LLMs). As publicly available Internet data becomes increasingly scarce, synthetic data has emerged as a crucial research direction. However, existing data synthesis methods often suffer from limited scalability, insufficient sample diversity, and a tendency to overfit to seed data, which constrains their practical utility. In this paper, we present \textit{\textbf{GRIP}}, a \textbf{G}raph-based \textbf{R}easoning \textbf{I}nstruction \textbf{P}roducer that efficiently synthesizes high-quality and diverse reasoning instructions. \textit{GRIP} constructs a knowledge graph by extracting high-level concepts from seed data, and uniquely leverages both explicit and implicit relationships within the graph to drive large-scale and diverse instruction data synthesis, while employing open-source multi-model supervision to ensure data quality. We apply \textit{GRIP} to the critical and challenging domain of mathematical reasoning. Starting from a seed set of 7.5K math reasoning samples, we construct \textbf{GRIP-MATH}, a dataset containing 2.1 million synthesized question-answer pairs. Compared to similar synthetic data methods, \textit{GRIP} achieves greater scalability and diversity while also significantly reducing costs. On mathematical reasoning benchmarks, models trained with GRIP-MATH demonstrate substantial improvements over their base models and significantly outperform previous data synthesis methods.
• Abstract（参考訳）: 大規模かつ高品質なデータは,大規模言語モデル(LLM)の推論能力向上に不可欠である。 インターネット上のデータの公開がますます少なくなるにつれて、合成データは重要な研究の方向として現れてきた。 しかし、既存のデータ合成手法は、スケーラビリティの制限、サンプルの多様性の不足、シードデータに過度に適合する傾向にある。 本稿では,高品質かつ多種多様な推論命令を効率的に合成する,textbf{G}raph-based \textbf{R}easoning \textbf{I}nstruction \textbf{P}roducerを提案する。 \textit{GRIP}は、シードデータから高レベルの概念を抽出して知識グラフを構築し、グラフ内の明示的および暗黙的な関係をユニークに利用して、大規模で多様な命令データ合成を駆動し、データ品質を保証するためにオープンソースのマルチモデル監視を採用する。 数学的推論の批判的かつ挑戦的な領域に \textit{GRIP} を適用する。 7.5Kの数学推論サンプルのシードセットから、合成された2100万の質問応答対を含むデータセットである「textbf{GRIP-MATH}」を構築した。 類似の合成データ手法と比較すると、 \textit{GRIP} はスケーラビリティと多様性を向上し、コストを大幅に削減する。 数学的推論のベンチマークでは、GRIP-MATHで訓練されたモデルはベースモデルよりも大幅に改善され、以前のデータ合成法よりも大幅に向上した。

関連論文リスト

• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Unleashing Reasoning Capability of LLMs via Scalable Question Synthesis from Scratch [28.519536719973317]
  ScaleQuestはスケーラブルで斬新なデータ合成手法である。 複雑な拡張制約を持つシードデータを必要とせずに、スクラッチから質問を生成する。 主要なオープンソースモデルの性能を普遍的に向上させることができる。
  論文  参考訳（メタデータ） (2024-10-24T12:42:04Z)
• Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
  SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。 SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
  論文  参考訳（メタデータ） (2024-10-24T10:47:30Z)
• Key-Point-Driven Data Synthesis with its Enhancement on Mathematical Reasoning [110.80663974060624]
  キーポイント駆動型データ合成(KPDDS)は質問応答対を合成する新しいデータ合成フレームワークである。 KPDDSは厳格な品質管理と相当なスケーラビリティを備えた新しい質問の生成を保証する。 KPMathは,800万以上の質問応答対から構成される,数学的推論に適した広範囲な合成データセットである。
  論文  参考訳（メタデータ） (2024-03-04T18:58:30Z)
• TarGEN: Targeted Data Generation with Large Language Models [51.87504111286201]
  TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。 我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。 合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
  論文  参考訳（メタデータ） (2023-10-27T03:32:17Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。