論文の概要: The Quest for Efficient Reasoning: A Data-Centric Benchmark to CoT Distillation

• arxiv url: http://arxiv.org/abs/2505.18759v1
• Date: Sat, 24 May 2025 15:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.641793
• Title: The Quest for Efficient Reasoning: A Data-Centric Benchmark to CoT Distillation
• Title（参考訳）: 効率的な推論の探求:CoT蒸留のためのデータ中心ベンチマーク
• Authors: Ruichen Zhang, Rana Muhammad Shahroz Khan, Zhen Tan, Dawei Li, Song Wang, Tianlong Chen,
• Abstract要約: 本稿では,チェーン・オブ・ソート(CoT)蒸留におけるデータ操作を調査する最初のデータ中心型ベンチマークであるDC-CoTを紹介する。 我々は、これらのデータ操作が複数の推論データセットの学生モデル性能に与える影響を厳格に評価する。
• 参考スコア（独自算出の注目度）: 37.38634940034755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-centric distillation, including data augmentation, selection, and mixing, offers a promising path to creating smaller, more efficient student Large Language Models (LLMs) that retain strong reasoning abilities. However, there still lacks a comprehensive benchmark to systematically assess the effect of each distillation approach. This paper introduces DC-CoT, the first data-centric benchmark that investigates data manipulation in chain-of-thought (CoT) distillation from method, model and data perspectives. Utilizing various teacher models (e.g., o4-mini, Gemini-Pro, Claude-3.5) and student architectures (e.g., 3B, 7B parameters), we rigorously evaluate the impact of these data manipulations on student model performance across multiple reasoning datasets, with a focus on in-distribution (IID) and out-of-distribution (OOD) generalization, and cross-domain transfer. Our findings aim to provide actionable insights and establish best practices for optimizing CoT distillation through data-centric techniques, ultimately facilitating the development of more accessible and capable reasoning models. The dataset can be found at https://huggingface.co/datasets/rana-shahroz/DC-COT, while our code is shared in https://anonymous.4open.science/r/DC-COT-FF4C/.
• Abstract（参考訳）: データ強化、選択、混合を含むデータ中心の蒸留は、強力な推論能力を保持するより小さく、より効率的な学生大規模言語モデル(LLM)を作るための有望な道を提供する。 しかし、それぞれの蒸留方法の効果を体系的に評価する包括的なベンチマークはいまだに存在しない。 本稿では, チェーン・オブ・ソート (CoT) 蒸留におけるデータ操作を, 方法, モデルおよびデータの観点から検討した最初のデータ中心型ベンチマークであるDC-CoTを紹介する。 様々な教師モデル(例:o4-mini,Gemini-Pro,Claude-3.5)と学生アーキテクチャ(例:3B,7Bパラメータ)を用いて,これらのデータ操作が学生モデルのパフォーマンスに与える影響を,複数の推論データセットにわたって厳格に評価し,内分布(IID)と外分布(OOD)の一般化とクロスドメイン転送に着目した。 本研究の目的は,データ中心技術によるCOT蒸留を最適化するためのベストプラクティスを確立することであり,最終的にはよりアクセシブルで有能な推論モデルの開発を促進することである。 データセットはhttps://huggingface.co/datasets/rana-shahroz/DC-COTで、コードはhttps://anonymous.4open.science/r/DC-COT-FF4C/で共有されます。

関連論文リスト

• DD-Ranking: Rethinking the Evaluation of Dataset Distillation [223.28392857127733]
  本稿では,統合評価フレームワークであるDD-Rankingと,異なる手法によって達成された真の性能改善を明らかにするための新しい総合評価指標を提案する。 DD-Rankingは、蒸留データセットの実際の情報強化に再焦点をあてることで、将来の研究の進展に対してより包括的で公正な評価基準を提供する。
  論文  参考訳（メタデータ） (2025-05-19T16:19:50Z)
• OpenCodeReasoning: Advancing Data Distillation for Competitive Coding [61.15402517835137]
  教師付き微調整(SFT)データセットを構築し、様々なサイズのモデルで最先端のコーディング能力を実現する。 私たちのモデルは、LiveCodeBenchで61.8%、CodeContestsで24.6%を達成するためにSFTのみを使用しており、強化学習でトレーニングされた代替品を上回っています。
  論文  参考訳（メタデータ） (2025-04-02T17:50:31Z)
• Dataset Distillation via Committee Voting [21.018818924580877]
  我々は$bf C$ommittee $bf V$oting for $bf D$ataset $bf D$istillation (CV-DD)を紹介する。 CV-DDは、複数のモデルや専門家の集合知を利用して高品質な蒸留データセットを作成する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-01-13T18:59:48Z)
• Condensed Sample-Guided Model Inversion for Knowledge Distillation [42.91823325342862]
  知識蒸留(KD)は、訓練済みの教師モデルからよりコンパクトな学生モデルへの知識伝達を可能にするニューラルネットワーク圧縮の重要な要素である。 KDはトレーニングデータセットへのアクセスに依存しているため、プライバシの懸念や、データのサイズに関する論理的な問題のために、必ずしも完全に利用できるとは限らない。 本稿では, 縮合したサンプルを補足情報の一形態とみなし, 対象データ分布をよりよく近似する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-25T14:43:27Z)
• D$^4$M: Dataset Distillation via Disentangled Diffusion Model [4.568710926635445]
  遠方拡散モデル(D$4$M)によるデータセット蒸留のための効率的なフレームワークを提案する。 アーキテクチャに依存した手法と比較して、D$4$Mは一貫性を保証するために遅延拡散モデルを採用し、ラベル情報をカテゴリのプロトタイプに組み込む。 D$4$Mは優れた性能とロバストな一般化を示し、多くの面においてSOTAメソッドを上回っている。
  論文  参考訳（メタデータ） (2024-07-21T12:16:20Z)
• Towards Adversarially Robust Dataset Distillation by Curvature Regularization [11.02948004359488]
  データセット蒸留(DD)は、豊富な分散情報を保持しながら、データセットを元のサイズの分数に蒸留することができる。 この領域の最近の研究は、蒸留データセットで訓練されたモデルの精度向上に重点を置いている。 そこで本研究では, 従来の逆算法よりも計算オーバーヘッドの少ない蒸留プロセスに曲率正規化を組み込むことにより, この目標を達成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T06:31:03Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。