論文の概要: Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers

• arxiv url: http://arxiv.org/abs/2509.03059v1
• Date: Wed, 03 Sep 2025 06:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.436865
• Title: Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers
• Title（参考訳）: Loong: 検証を通したスケールでの長鎖の合成
• Authors: Xingyue Huang, Rishabh, Gregor Franke, Ziyi Yang, Jiamu Bai, Weijie Bai, Jinhe Bi, Zifeng Ding, Yiqun Duan, Chengyu Fan, Wendong Fan, Xin Gao, Ruohao Guo, Yuan He, Zhuangzhuang He, Xianglong Hu, Neil Johnson, Bowen Li, Fangru Lin, Siyu Lin, Tong Liu, Yunpu Ma, Hao Shen, Hao Sun, Beibei Wang, Fangyijie Wang, Hao Wang, Haoran Wang, Yang Wang, Yifeng Wang, Zhaowei Wang, Ziyang Wang, Yifan Wu, Zikai Xiao, Chengxing Xie, Fan Yang, Junxiao Yang, Qianshuo Ye, Ziyu Ye, Guangtao Zeng, Yuwen Ebony Zhang, Zeyu Zhang, Zihao Zhu, Bernard Ghanem, Philip Torr, Guohao Li,
• Abstract要約: スケーラブルな合成データ生成と検証のためのオープンソースのフレームワークであるLoong Projectを紹介します。 LoongBenchは、12のドメインにまたがる8,729の人為的なサンプルを含む、キュレートされたシードデータセットである。 LoongEnvはモジュラー合成データ生成環境であり、新しい質問応答コードのトリプルを生成する複数のプロンプト戦略をサポートする。
• 参考スコア（独自算出の注目度）: 103.4410890572479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Large Language Models (LLMs) have shown that their reasoning capabilities can be significantly improved through Reinforcement Learning with Verifiable Reward (RLVR), particularly in domains like mathematics and programming, where ground-truth correctness can be automatically evaluated. However, extending this success to other reasoning-intensive domains remains challenging due to the scarcity of high-quality, verifiable datasets and the high cost of human supervision. In this work, we introduce the Loong Project: an open-source framework for scalable synthetic data generation and verification across a diverse range of reasoning-intensive domains. The framework consists of two key components: (1) LoongBench, a curated seed dataset containing 8,729 human-vetted examples across 12 domains (e.g., Advanced Mathematics, Chemistry, Logic), each paired with executable code and rich metadata; and (2) LoongEnv, a modular synthetic data generation environment that supports multiple prompting strategies to produce new question-answer-code triples. Together, these components form an agent-environment loop that enables reinforcement learning, where an LLM-based agent is rewarded for generating Chain-of-Thought (CoT) solutions that align with code-executed answers. Empirically, we benchmark LoongBench on a broad suite of both open-source and proprietary LLMs to evaluate domain coverage and reveal performance bottlenecks. In addition, we conduct a comprehensive analysis of synthetic data generated by LoongEnv, examining correctness, difficulty, and diversity. Code and documentation are available at https://github.com/camel-ai/loong.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs) の進歩により,RLVR(Reinforcement Learning with Verifiable Reward)による推論能力の向上が図られている。 しかし、この成功を他の推論集約的な領域に拡張することは、高品質で検証可能なデータセットの不足と、人間の監督の高コストのため、依然として困難である。 本研究では,多種多様な推論集約ドメインを対象としたスケーラブルな合成データ生成と検証を行うオープンソースフレームワークであるLoong Projectを紹介する。 フレームワークは、2つの重要なコンポーネントで構成されている。(1)LoongBenchは、12のドメイン(例えば、高度な数学、化学、論理)にまたがる8,729の人為的なサンプルを含むキュレートされたシードデータセットであり、それぞれに実行可能なコードと豊富なメタデータがペアリングされている。 これらのコンポーネントは、強化学習を可能にするエージェント環境ループを形成し、そこでは、LLMベースのエージェントが、コード実行された回答に対応するChain-of-Thought(CoT)ソリューションを生成することで報酬を得る。 実証的に、LongBenchをオープンソースおよびプロプライエタリなLLMの幅広いスイートでベンチマークし、ドメインカバレッジを評価し、パフォーマンスのボトルネックを明らかにする。 さらに,LongEnvが生成した合成データの包括的解析を行い,正確性,難易度,多様性について検討した。 コードとドキュメントはhttps://github.com/camel-ai/loong.comで公開されている。

関連論文リスト

• A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis [43.746749403268275]
  大規模言語モデル(LLM)は、計算コスト、環境不効率、モノリシックアーキテクチャから受け継いだ潜在的なバイアスに悩まされる。 我々は、高品質で多様な信頼性のあるデータを生成するために、小さなLLMにまたがる特殊な役割を集約する協調的なフレームワークGRAを提案する。 本研究は,データ合成におけるモノリシックな大規模モデルの必要性に挑戦し,より小さなエージェントの戦略的コーディネーションを提唱する。
  論文  参考訳（メタデータ） (2025-04-11T06:13:43Z)
• Synthetic Data Generation Using Large Language Models: Advances in Text and Code [0.0]
  大規模言語モデル(LLM)は、自然言語とコードドメインの両方で合成トレーニングデータ生成を変換している。 我々は、プロンプトベースの生成、検索拡張パイプライン、反復的な自己精製といった重要なテクニックを強調した。 本稿では,生成テキストにおける事実的不正確性,文体的あるいは分布的リアリズムの不足,バイアス増幅のリスクなど,関連する課題について論じる。
  論文  参考訳（メタデータ） (2025-03-18T08:34:03Z)
• SnipGen: A Mining Repository Framework for Evaluating LLMs for Code [51.07471575337676]
  言語モデル(LLM)は、コードリポジトリを含む広範なデータセットに基づいてトレーニングされる。 それらの有効性を評価することは、トレーニングに使用されるデータセットと評価に使用されるデータセットとが重複する可能性があるため、大きな課題となる。 SnipGenは、コード生成のために、様々な下流タスクをまたいだ迅速なエンジニアリングを活用するように設計された包括的なリポジトリマイニングフレームワークである。
  論文  参考訳（メタデータ） (2025-02-10T21:28:15Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains [45.349645606978434]
  Retrieval-augmented Generation (RAG) は大規模言語モデル(LLM)の質問応答能力を向上させる ドメイン適応のための質問応答と質問生成のジョイント機能を備えた自己学習手法であるSimRAGを提案する。 2つのバックボーンサイズと3つのドメインにまたがる11のデータセットの実験は、SimRAGがベースラインを1.2%～8.6%上回ることを示した。
  論文  参考訳（メタデータ） (2024-10-23T15:24:16Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。