論文の概要: DICE: Structured Reasoning in LLMs through SLM-Guided Chain-of-Thought Correction

• arxiv url: http://arxiv.org/abs/2510.09211v1
• Date: Fri, 10 Oct 2025 09:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:48.613345
• Title: DICE: Structured Reasoning in LLMs through SLM-Guided Chain-of-Thought Correction
• Title（参考訳）: DICE:SLM-Guided Chain-of-Thought CorrectionによるLCMの構造的推論
• Authors: Yiqi Li, Yusheng Liao, Zhe Chen, Yanfeng Wang, Yu Wang,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば詳細な命令の遵守よりも推論を優先する。 これに対応するための教師付きデータセットの微調整 LLM は、高い計算コストと限られたパラメータアクセスのために実用的ではない。 我々は,小型言語モデル(SLM)をガイドする軽量フレームワークであるDICEを提案し,LLMの出力をチェーン・オブ・シンク(CoT)補正により改善する。
• 参考スコア（独自算出の注目度）: 29.22321321753093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When performing reasoning tasks with user-specific requirements, such as strict output formats, large language models (LLMs) often prioritize reasoning over adherence to detailed instructions. Fine-tuning LLMs on supervised datasets to address this is impractical due to high computational costs and limited parameter access. To tackle this, we propose DICE, a lightweight framework that guides small language models (SLMs) to refine LLMs' outputs through chain-of-thought (CoT) correction. DICE decouples the process by first prompting LLMs to generate natural language responses, then using trained SLMs to analyze and refine these outputs to meet structured output specifications. This framework preserves LLMs' broad knowledge and reasoning capabilities while ensuring the outputs conform to user demands. Specifically, DICE first constructs structured CoT adaptation datasets via a two-stage method and subsequently applies a dual-tuning strategy to fine-tune SLMs for generating structured outputs in an analyze-then-answer pattern. Experiments demonstrate that DICE improves the average format accuracy and content correctness of LLM outputs by 35.4\% and 29.4\%, respectively, achieving state-of-the-art (SOTA) performance over other competitive baselines.
• Abstract（参考訳）: 厳格な出力形式などのユーザ固有の要件で推論タスクを実行する場合、大きな言語モデル(LLM)は詳細な命令への準拠よりも推論を優先することが多い。 これに対応するための教師付きデータセットの微調整 LLM は、高い計算コストと限られたパラメータアクセスのために実用的ではない。 これを解決するために,我々は小型言語モデル(SLM)をガイドする軽量フレームワークであるDICEを提案し,LLMの出力をチェーン・オブ・シント(CoT)補正により改善する。 DICEは、まずLLMに自然言語応答を生成するように促し、次に訓練されたSLMを使用してこれらの出力を分析し、洗練し、構造化された出力仕様を満たすことによって、プロセスを分離する。 このフレームワークは、LCMの幅広い知識と推論能力を維持しながら、出力がユーザの要求に合致することを保証します。 具体的には、DICEはまず2段階法を用いて構造化CoT適応データセットを構築し、その後、構造化出力を生成するための微調整SLMに二重チューニング戦略を適用した。 実験により、DICE は LLM 出力の平均フォーマット精度と内容の正しさを 35.4 % と 29.4 % に改善し、他の競争基準よりも最先端(SOTA) の性能を達成することを示した。

関連論文リスト

• Serialized Output Prompting for Large Language Model-based Multi-Talker Speech Recognition [27.16462631523899]
  既存のマルチストーカー (MT) 自動音声認識 (ASR) システムは、省略プロンプトまたは単純なタスク定義プロンプトに依存している。 本稿では,逐次出力プロンプト(SOP)を抽出し,構造化プロンプトを用いてLLMを明示的に誘導し,システム性能を向上させることを提案する。 提案手法により, 2-および3-talker条件下での性能が有意に向上した。
  論文  参考訳（メタデータ） (2025-09-01T03:10:14Z)
• An Empirical Study of Conformal Prediction in LLM with ASP Scaffolds for Robust Reasoning [52.29223403698673]
  本稿では, Answer Set Programming (ASP) とともに, Conformal Language Modelling (CLM) の使用について検討する。 LLM から ASP プログラムの集合を生成するために CLM を適用し,出力の正確性に関する統計的保証を提供する。 実験の結果,標準サンプリング手法を用いたベースラインモデルではCLMが有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T14:10:10Z)
• LARR: Large Language Model Aided Real-time Scene Recommendation with Semantic Understanding [19.510385758079966]
  リアルタイムScene Recommendation(LARR)を用いた大規模言語モデル 本稿では,Large Language Model Aided Real-time Scene Recommendation(LARR)を紹介する。
  論文  参考訳（メタデータ） (2024-08-21T10:56:26Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。