論文の概要: Tailoring the Curriculum: Student-Centered Reasoning Distillation via Dynamic Data-Model Compatibility
- arxiv url: http://arxiv.org/abs/2605.29229v1
- Date: Thu, 28 May 2026 01:41:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.58179
- Title: Tailoring the Curriculum: Student-Centered Reasoning Distillation via Dynamic Data-Model Compatibility
- Title（参考訳）: カリキュラムの作成:動的データ-モデル適合性による学生中心の推論蒸留
- Authors: Jiahao Huang, Fei Cheng, Junfeng Jiang, Akiko Aizawa,
- Abstract要約: 推論蒸留は、大規模な言語モデルからより小さなものへの複雑な推論能力を伝達する。
本稿では,データモデル適合性(Data-Model Compatibility, DMC)指標について述べる。
- 参考スコア（独自算出の注目度）: 26.81821519300647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning distillation transfers complex reasoning abilities from large language models (LLMs) to smaller ones, yet its success depends on how well the training data align with the student model. This paper introduces the Data-Model Compatibility (DMC) metric, which can be used to assess the suitability of a dataset for reasoning distillation on a student model. DMC provides an assessment by jointly considering data quality, relative difficulty, and student capability. We validated the effectiveness of DMC from two perspectives: (1) DMC exhibits a strong correlation with reasoning distillation performance; and (2) using DMC as the criterion for data selection leads to improved reasoning distillation performance. Both findings are consistently demonstrated across multiple student models and tasks. Moreover, since the DMC of each dataset dynamically changes during training, our experiments demonstrate that dynamically selecting datasets based on DMC can further enhance performance.
- Abstract（参考訳）: 共鳴蒸留は、大規模言語モデル(LLM)からより小さな言語モデルへの複雑な推論能力を伝達するが、その成功は、訓練データと学生モデルとの整合性に依存する。
本稿では,データモデル適合度(Data-Model Compatibility, DMC)メトリクスについて紹介する。
DMCは、データ品質、相対的困難、および学生の能力を共同で考慮して評価する。
1) DMCは, 推理蒸留性能と強い相関を示し, 2) データ選択の基準としてDMCを用いると, 推理蒸留性能が向上する。
両方の結果は、複数の学生モデルとタスクで一貫して実証されている。
さらに、トレーニング中に各データセットのDMCが動的に変化するので、DMCに基づくデータセットを動的に選択することで、パフォーマンスがさらに向上することを示した。
関連論文リスト
- Less is More: Selective Reflection for Compatible and Efficient Knowledge Distillation in Large Language Models [0.0]
知識蒸留(KD)は、大規模言語モデル(LLM)をコンパクトで効率的な学生モデルに圧縮する技術である。
本稿では,新しいデータキュレーションフレームワークである選択反射蒸留(SRD)を提案する。
プラグ・アンド・プレイの強化として、SRDは様々なホワイトボックスKDアプローチで蒸留結果を改善する。
論文 参考訳（メタデータ） (2025-08-08T08:55:53Z) - Multi-Modal Dataset Distillation in the Wild [75.64263877043615]
そこで我々は,マルチモーダル・データセット蒸留法(MDW)を提案し,ノイズの多いマルチモーダル・データセットをコンパクトなクリーン・データセットに蒸留し,効果的かつ効率的なモデルトレーニングを行う。
具体的には、MDWは蒸留中の学習可能な微粒な対応を導入し、蒸留されたデータを適応的に最適化し、対応識別領域を強調する。
MDWの理論的および経験的有効性は、様々な圧縮比で従来の手法を15%以上上回る、顕著なスケーラビリティで検証されている。
論文 参考訳（メタデータ） (2025-06-02T12:18:20Z) - The Quest for Efficient Reasoning: A Data-Centric Benchmark to CoT Distillation [37.38634940034755]
本稿では,チェーン・オブ・ソート(CoT)蒸留におけるデータ操作を調査する最初のデータ中心型ベンチマークであるDC-CoTを紹介する。
我々は、これらのデータ操作が複数の推論データセットの学生モデル性能に与える影響を厳格に評価する。
論文 参考訳（メタデータ） (2025-05-24T15:54:19Z) - DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs [58.4911494598431]
DistiLLM-2は、教師の反応の可能性を同時に増加させ、生徒の反応を減少させる対照的なアプローチである。
実験の結果,DistiLLM-2は様々なタスクにまたがって高性能な学生モデルを構築するだけでなく,多様なアプリケーションをサポートすることがわかった。
論文 参考訳（メタデータ） (2025-03-10T08:51:32Z) - PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。
近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。
我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文 参考訳（メタデータ） (2024-06-09T07:29:55Z) - DMT: Comprehensive Distillation with Multiple Self-supervised Teachers [27.037140667247208]
プレトレーニングモデル圧縮のためのDMT(Comprehensive Distillation with Multiple Self-supervised Teachers)を提案する。
評価実験の結果,提案手法は最先端の競合相手を大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2023-12-19T08:31:30Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。