論文の概要: Enhancing Reasoning Capabilities in SLMs with Reward Guided Dataset Distillation

• arxiv url: http://arxiv.org/abs/2507.00054v1
• Date: Wed, 25 Jun 2025 20:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:58.149808
• Title: Enhancing Reasoning Capabilities in SLMs with Reward Guided Dataset Distillation
• Title（参考訳）: Reward Guided Dataset Distillation によるSLMの共振性能向上
• Authors: Shreyansh Padarha,
• Abstract要約: 本稿では,報酬誘導型データセット蒸留フレームワークAdvDistillを提案する。 我々は,教師からの複数の世代(応答)を各プロンプトに利用し,ルールベースの検証に基づいて報酬を割り当てる。 これらの様々な、通常は分散された報酬は、学生モデルを訓練する際の重みとなる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The push to compress and impart the proficiency of Large Language Models (LLMs) into more deployable and efficient Small Language Models (SLMs) has benefited from improvements in knowledge distillation (KD) techniques. These techniques allow a smaller student model to learn from a more capable and larger teacher model's responses. However, distillation often revolves around the student model merely copying the teacher's in-distribution responses, limiting its generalisability. This limitation is amplified on reasoning tasks and can be computationally expensive. In this study, we propose AdvDistill, a reward-guided dataset distillation framework. We utilise multiple generations (responses) from a teacher for each prompt and assign rewards based on rule-based verifiers. These varying and normally distributed rewards serve as weights when training student models. Our methods and their subsequent behavioural analysis demonstrate a significant improvement in student model performance for mathematical and complex reasoning tasks, showcasing the efficacy and benefits of incorporating a rewarding mechanism in dataset distillation processes.
• Abstract（参考訳）: LLM(Large Language Models)をよりデプロイ可能で効率的なSmall Language Models(SLM)に圧縮・付与する試みは、知識蒸留(KD)技術の改善の恩恵を受けている。 これらの手法により、より有能でより大きな教師モデルの反応からより小さな学生モデルを学ぶことができる。 しかし、蒸留は、単に教師の不分配応答を模倣するだけの学生モデルを中心に展開し、その一般化性を制限する。 この制限は推論タスクに増幅され、計算コストがかかる。 本研究では,報酬誘導型データセット蒸留フレームワークAdvDistillを提案する。 我々は,教師からの複数の世代(応答)を各プロンプトに利用し,ルールベースの検証に基づいて報酬を割り当てる。 これらの様々な、通常は分散された報酬は、学生モデルを訓練する際の重みとなる。 提案手法とその後の行動分析は,数理的および複雑な推論タスクにおける学生モデルの性能を著しく向上させ,データセット蒸留プロセスに報酬機構を組み込むことの有効性とメリットを示した。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Distilling Robustness into Natural Language Inference Models with Domain-Targeted Augmentation [12.512147282842175]
  本稿では,学生モデルの配布外領域におけるロバスト性を改善するための2つの補完手法について検討する。 第一のアプローチは、ターゲットの分布にマッチする未ラベルの例で蒸留を増強する。 第2の方法は、目標分布に類似したトレーニングセット内のデータポイントをサンプリングする。
  論文  参考訳（メタデータ） (2023-05-22T14:37:05Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。