論文の概要: Can Structured Templates Facilitate LLMs in Tackling Harder Tasks? : An Exploration of Scaling Laws by Difficulty

• arxiv url: http://arxiv.org/abs/2508.19069v1
• Date: Tue, 26 Aug 2025 14:26:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.880093
• Title: Can Structured Templates Facilitate LLMs in Tackling Harder Tasks? : An Exploration of Scaling Laws by Difficulty
• Title（参考訳）: 構造化テンプレートは難解なタスクにLLMを役立てることができるか? : 難易度によるスケーリング法則の探索
• Authors: Zhichao Yang, Zhaoxin Fan, Gen Li, Yuanze Hu, Xinyu Wang, Ye Qiu, Xin Wang, Yifan Sun, Wenjun Wu,
• Abstract要約: 後学習法は複雑なタスクの深層手続き論理を捉えるのに不足する。 本稿では,SST(Structured Solution template)フレームワークを提案する。 GSM8K、AIME24、および新しいDynamic Enベンチマークの実験により、SSTは特に難しい問題において、精度と効率の両方を著しく改善することが示された。
• 参考スコア（独自算出の注目度）: 20.9633647829495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured, procedural reasoning is essential for Large Language Models (LLMs), especially in mathematics. While post-training methods have improved LLM performance, they still fall short in capturing deep procedural logic on complex tasks. To tackle the issue, in this paper, we first investigate this limitation and uncover a novel finding: a Scaling Law by Difficulty, which reveals that model performance follows a U-shaped curve with respect to training data complexity -- excessive low-difficulty data impedes abstraction, while high-difficulty data significantly enhances reasoning ability. Motivated by this, we propose the Structured Solution Template (SST) framework, which uses solution templates and a curriculum of varied difficulty to explicitly teach procedural reasoning. Specifically, SST comprises (1) fine-tuning with structured solution-template chains and dynamically weighted loss to prioritize procedural logic, (2) prompt-time injection of solution templates as cognitive scaffolds to guide inference, and (3) integrated curriculum fine-tuning that explicitly teaches the model to self-plan - execute - self-correct. Experiments on GSM8K, AIME24, and new Dynamic En benchmark show that SST significantly improves both accuracy and efficiency, especially on harder problems.
• Abstract（参考訳）: 構造化された手続き的推論は大規模言語モデル(LLM)、特に数学において不可欠である。 ポストトレーニング手法はLLMの性能を向上したが、複雑なタスクにおける深い手続き論理の取得には依然として不足している。 そこで,本論文ではまず,この制限を検証し,新たな発見を明らかにする。Difficultyによるスケーリング法則(Scaling Law by Difficulty)は,モデルの性能がトレーニングデータの複雑性に関して,U字型曲線に従っていることを明らかにする。 そこで本研究では,構造化ソリューションテンプレート(Structured Solution Template, SST)フレームワークを提案する。 具体的には,(1)構造化された解テンプレートチェーンによる微調整と,(2)手続き論理を優先するために動的に重み付けされた損失,(2)推論をガイドする認知的足場としての解テンプレートの迅速な注入,(3)自己計画 - 実行 - 自己修正を明示的に教える統合的なカリキュラム微調整を含む。 GSM8K、AIME24、および新しいDynamic Enベンチマークの実験により、SSTは特に難しい問題において、精度と効率の両方を著しく改善することが示された。

関連論文リスト

• Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following [10.119219532863767]
  思考段階の怠慢な推論は 指示の順守に 寄与する主要な要因だ 本稿では,プレビューと自己チェックを含む厳密な推論プロセスを実現するための包括的フレームワークを提案する。 私たちのLight-IF-32Bモデルは、DeepSeek-R1のような大規模なオープンソースモデルと、Doubao-1.6のようなクローズドソースモデルの両方を上回っています。
  論文  参考訳（メタデータ） (2025-08-05T07:42:00Z)
• Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT? [59.418994222096885]
  AIME24データセット上でモデル性能の詳細な解析を行う。 我々は質問を4段階(易、中、硬、極度硬)に分類する。 我々は,SFT-1Kインスタンスが最小限であるR1推論スタイルを採用する必要があることを見出した。 エクレベルの質問は、根本的に異なる課題を示します。
  論文  参考訳（メタデータ） (2025-04-16T03:39:38Z)
• Self-Steering Language Models [113.96916935955842]
  DisCIPL は "self-steering" 言語モデル (LM) の手法である。 DisCIPLは、Followerモデルの集団によって実行されるタスク固有の推論プログラムを生成する。 我々の研究は、高度に並列化されたモンテカルロ推論戦略の設計空間を開く。
  論文  参考訳（メタデータ） (2025-04-09T17:54:22Z)
• DAST: Difficulty-Aware Self-Training on Large Language Models [68.30467836807362]
  大規模言語モデル(LLM)の自己学習手法は、常に挑戦的なクエリのアンダーサンプルである。 本研究は,自己生成応答の量と品質を改善することに焦点を当てた,難易度を考慮した自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-12T03:36:45Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。