論文の概要: FastMCTS: A Simple Sampling Strategy for Data Synthesis

• arxiv url: http://arxiv.org/abs/2502.11476v1
• Date: Mon, 17 Feb 2025 06:27:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:32.715863
• Title: FastMCTS: A Simple Sampling Strategy for Data Synthesis
• Title（参考訳）: FastMCTS: データ合成のための簡単なサンプリング戦略
• Authors: Peiji Li, Kai Lv, Yunfan Shao, Yichuan Ma, Linyang Li, Xiaoqing Zheng, Xipeng Qiu, Qipeng Guo,
• Abstract要約: 我々はモンテカルロ木探索にインスパイアされた革新的なデータ合成戦略であるFastMCTSを紹介する。 FastMCTSは、ステップレベルの評価信号を提供するマルチステップ推論データに対して、より効率的なサンプリング方法を提供する。 英語と中国語の両方の推論データセットの実験では、FastMCTSが30%以上の正しい推論パスを生成することが示されている。
• 参考スコア（独自算出の注目度）: 67.60823802317141
• License:
• Abstract: Synthetic high-quality multi-step reasoning data can significantly enhance the performance of large language models on various tasks. However, most existing methods rely on rejection sampling, which generates trajectories independently and suffers from inefficiency and imbalanced sampling across problems of varying difficulty. In this work, we introduce FastMCTS, an innovative data synthesis strategy inspired by Monte Carlo Tree Search. FastMCTS provides a more efficient sampling method for multi-step reasoning data, offering step-level evaluation signals and promoting balanced sampling across problems of different difficulty levels. Experiments on both English and Chinese reasoning datasets demonstrate that FastMCTS generates over 30\% more correct reasoning paths compared to rejection sampling as the number of generated tokens scales up. Furthermore, under comparable synthetic data budgets, models trained on FastMCTS-generated data outperform those trained on rejection sampling data by 3.9\% across multiple benchmarks. As a lightweight sampling strategy, FastMCTS offers a practical and efficient alternative for synthesizing high-quality reasoning data. Our code will be released soon.
• Abstract（参考訳）: 合成高品質多段階推論データは,様々なタスクにおける大規模言語モデルの性能を著しく向上させることができる。 しかし、既存のほとんどの手法は、独立して軌道を発生し、様々な困難のある問題に対して非効率性と不均衡なサンプリングに苦しむ拒絶サンプリングに依存している。 本稿ではモンテカルロ木探索にインスパイアされた革新的なデータ合成戦略であるFastMCTSを紹介する。 FastMCTSは、より効率的な多段階推論データのサンプリング方法を提供し、ステップレベルの評価信号を提供し、異なる困難レベルの問題に対するバランスの取れたサンプリングを促進する。 英語と中国語の両方の推論データセットの実験により、FastMCTSは、生成トークンの数が大きくなるにつれて、拒絶サンプリングよりも30倍以上の正しい推論パスを生成することが示された。 さらに、比較可能な合成データ予算の下では、FastMCTSで生成されたデータに基づいてトレーニングされたモデルは、複数のベンチマークで3.9\%の差で、拒絶サンプリングデータでトレーニングされたモデルより優れている。 軽量サンプリング戦略として、FastMCTSは高品質な推論データを合成するための実用的で効率的な代替手段を提供する。 私たちのコードはまもなくリリースされるでしょう。

関連論文リスト

• A Training-free Synthetic Data Selection Method for Semantic Segmentation [14.96784749682609]
  合成データを用いたセグメンテーションセグメンタの訓練は、容易なアクセシビリティと膨大な量のために注目されている。 これまでのほとんどの方法は、大規模な合成画像アノテーションのサンプルを作成し、それら全てでセグメンタを訓練することに焦点を当てていた。 信頼性の高い合成データセットを構築するための高品質なサンプルを選択するために,CLIPを用いた学習不要なSDS(Synthetic Data Selection)戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-25T12:53:14Z)
• Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
  本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。 逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。 アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-12-22T15:16:44Z)
• CorrSynth -- A Correlated Sampling Method for Diverse Dataset Generation from LLMs [5.89889361990138]
  大規模言語モデル(LLM)は、ゼロショットプロンプトと少数ショットプロンプトを使用して、多様なタスクにおいて顕著な性能を示した。 本研究では,下流の課題に対して,学生モデルが訓練されるような,多様性の高いデータセットを生成するという課題に取り組む。 復号時間誘導に基づくアプローチの経路を考慮し、相関したサンプリング戦略を用いて、入力プロンプトにより多様で忠実なデータを生成するCorr Synthを提案する。
  論文  参考訳（メタデータ） (2024-11-13T12:09:23Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
  拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。 DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。 本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T18:18:41Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。