論文の概要: Self-Play Search Distillation for Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2609.30936v1
• Date: Fri, 25 Sep 2026 07:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.281054
• Title: Self-Play Search Distillation for Large Language Model Reasoning
• Title（参考訳）: 大規模言語モデル推論のためのセルフプレイ検索蒸留法
• Abstract要約: 我々は,ボードゲーム上で訓練されたMuZeroライクなネットワークをセルフプレイすることで,超人的合成データを生成するフレームワークであるSelf-Play Search Distillationを紹介する。 セルフプレイの検索レコードにのみ訓練を受けるが、SPSDは見知らぬ数学に移行する。 数学のベンチマークの平均は24.1から36.6に上昇し、ホールドアウトの勝利率は15%から45%に増加した。
• 参考スコア（独自算出の注目度）: 40.982259261520845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving reasoning abilities in Large Language Models (LLMs) requires high-quality data that exposes difficult decisions, competing alternatives, and their consequences. Data scarcity is driven by the low quality of synthetic data and the cost of human labeling. We introduce Self-Play Search Distillation (SPSD), a framework for generating superhuman synthetic data via self-play of MuZero-like networks trained on board games. SPSD uses executable environments to turn search into structured reasoning problems. At each state, the expert identifies a preferred decision, plausible alternatives, plausible opponent replies, and value estimates. By converting the self-play search records into superhuman chains-of-thought, we train LLMs with environment-grounded supervision. Although trained only on self-play search records, SPSD transfers to unseen mathematics. On Qwen3-4B-Base, it raises the mean over six mathematics benchmarks from 24.1 to 36.6 while increasing the held-out-game win rate from 15% to 45%. SPSD offers an annotation-efficient way to create high-quality synthetic data for improving LLM performance in reasoning tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)における推論能力の改善には、難しい決定、競合する代替案、そしてそれらの結果を明らかにする高品質なデータが必要である。 データ不足は、合成データの低品質と人間のラベル付けコストによって引き起こされる。 本研究では,ボードゲーム上で訓練された MuZero のようなネットワークをセルフプレイすることで,超人的合成データを生成するフレームワークである Self-Play Search Distillation (SPSD) を紹介する。 SPSDは、検索を構造化推論問題に変換するために実行可能な環境を使用する。 それぞれの状態において、専門家は、望ましい決定、妥当な代替案、妥当な相手の応答、および値の推定を識別する。 自己再生検索記録を超人的連鎖に変換することにより,環境に配慮したLLMを訓練する。 セルフプレイの検索レコードにのみ訓練を受けるが、SPSDは見知らぬ数学に移行する。 Qwen3-4Bベースでは、平均6つの数学ベンチマークが24.1から36.6に上昇し、ホールドアウトの勝利率は15%から45%に増加した。 SPSDは、推論タスクにおけるLLM性能を改善するための高品質な合成データを作成するためのアノテーション効率のよい方法を提供する。

関連論文リスト

• SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information [61.41881137371855]
  大規模言語モデル(LLM)のベンチマークであるSPIEvalを紹介する。 SPIEvalは、10のアプリに分散された4,335の個人レコードにまたがる250のタスクで構成され、21のツールによるマルチターンインタラクションをサポートする。 最高のパフォーマンスモデルであるGPT-5.5(xhigh)は57.3%の精度しか達成せず、最も弱いモデルは16.4%である。
  論文  参考訳（メタデータ） (2026-08-11T09:14:53Z)
• Unified Data Selection for LLM Reasoning [66.0118347918729]
  複雑で長いCoT推論のための大規模言語モデル(LLM)のトレーニングは、しばしば大量の高品質な推論データの必要性によってボトルネックとなる。 本研究では,各推論サンプルの上位(例えば0.5%)のエントロピートークンのみを和らげることで,推論品質を定量化する学習自由度指標であるHigh-Entropy Sum(HES)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:21:41Z)
• SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback [68.60326181052658]
  本稿では,高品質で難易度の高い探索問合せを自動生成するエージェントパイプラインを提案する。 我々のパイプラインであるSAGEは、QAペアを提案するデータジェネレータと、生成された質問を解決するための検索エージェントで構成される。 我々の本質的な評価は、SAGEが様々な推論戦略を必要とする質問を生成する一方で、生成したデータの正確性や難易度を著しく高めていることを示している。
  論文  参考訳（メタデータ） (2026-01-26T06:37:56Z)
• ACT as Human: Multimodal Large Language Model Data Annotation with Critical Thinking [44.58919028628059]
  教師付き学習は高品質なラベル付きデータに頼っているが、人間のアノテーションを通してそのようなデータを取得するのは高価かつ時間を要する。 最近の研究は、アノテーションに大規模言語モデル(LLM)を使うことを探求しているが、LLM生成ラベルは人間レベルの品質に欠けている。 この問題に対処するために,批判的思考(ACT)データパイプラインを用いたスーパーバイスを提案する。
  論文  参考訳（メタデータ） (2025-11-13T00:32:30Z)
• How Good Are Synthetic Requirements ? Evaluating LLM-Generated Datasets for AI4RE [0.5156484100374059]
  本稿では,合成要求データを生成するための改良された製品ラインアプローチを提案する。 提案する4つの研究課題は,データ品質にどのような影響を及ぼすか,また,自動的なプロンプト最適化,およびポストジェネレーションのキュレーションについて検討する。 以上の結果から, 人工的な要件は, 特定のタスクにおいて, 人為的な要件と一致し, より優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-26T10:52:07Z)
• Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
  アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。 RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。 我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-06-05T08:40:24Z)
• Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning [80.27561080938747]
  CANOEは、人間のアノテーションを使わずに、下流のさまざまなタスクにまたがる大きな言語モデルの忠実性の幻覚を減らすためのフレームワークである。 Dual-GRPOはルールベースの強化学習手法であり、合成された短値QAデータから得られる3つのルールベースの報酬を含む。 実験の結果、CANOEは11のタスクにまたがるLLMの忠実さを大幅に改善し、最も進歩したLLMよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-22T10:10:07Z)
• Do Theory of Mind Benchmarks Need Explicit Human-like Reasoning in Language Models? [14.29992535286614]
  心の理論 (Theory of Mind, ToM) とは、心の状態を他人に説明できる能力である。 大規模言語モデルの最近の進歩は、ToMベンチマークで有望なパフォーマンスを示している。 これらのベンチマークは、明示的なヒューマンライクな推論プロセスを必要とするのか、それとも、代替戦略によってモデルが成功するのか?
  論文  参考訳（メタデータ） (2025-04-02T12:58:42Z)
• Cascaded Self-Evaluation Augmented Training for Lightweight Multimodal LLMs [14.763433457556136]
  マルチモーダル大言語モデル (EMLLM) は、Chain-of-Thought (CoT) 推論により性能を向上させることができる。 CoT推論プロセスの自己評価能力は貧弱です。 これは、下流タスク微調整時の推論過程と自己評価能力の低下を単純化する傾向があるためである。
  論文  参考訳（メタデータ） (2025-01-10T02:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。