論文の概要: Knowledge Distillation of Domain-adapted LLMs for Question-Answering in Telecom

• arxiv url: http://arxiv.org/abs/2504.20000v1
• Date: Mon, 28 Apr 2025 17:19:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.533658
• Title: Knowledge Distillation of Domain-adapted LLMs for Question-Answering in Telecom
• Title（参考訳）: テレコムにおける質問応答のためのドメイン適応LDMの知識蒸留
• Authors: Rishika Sen, Sujoy Roychowdhury, Sumit Soman, H. G. Ranjani, Srikhetra Mohanty,
• Abstract要約: 知識蒸留(KD)は、Large Language Models (LLM) のサイズを減らすためのアプローチの1つである。 ドメイン固有のタスクについては、教師または学生モデル、または両方がドメイン適応のために考慮されなければならないかどうかが明確でない。 蒸留モデルにおける語彙(母と異なる)とKDアルゴリズム(Vanilla KD, Dual Space KD, DSKD)の影響を検討する実験を設計した。
• 参考スコア（独自算出の注目度）: 0.6897286554827872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation (KD) is one of the approaches to reduce the size of Large Language Models (LLMs). A LLM with smaller number of model parameters (student) is trained to mimic the performance of a LLM of a larger size (teacher model) on a specific task. For domain-specific tasks, it is not clear if teacher or student model, or both, must be considered for domain adaptation. In this work, we study this problem from perspective of telecom domain Question-Answering (QA) task. We systematically experiment with Supervised Fine-tuning (SFT) of teacher only, SFT of student only and SFT of both prior to KD. We design experiments to study the impact of vocabulary (same and different) and KD algorithms (vanilla KD and Dual Space KD, DSKD) on the distilled model. Multi-faceted evaluation of the distillation using 14 different metrics (N-gram, embedding and LLM-based metrics) is considered. Experimental results show that SFT of teacher improves performance of distilled model when both models have same vocabulary, irrespective of algorithm and metrics. Overall, SFT of both teacher and student results in better performance across all metrics, although the statistical significance of the same depends on the vocabulary of the teacher models.
• Abstract（参考訳）: 知識蒸留 (KD) は、Large Language Models (LLM) のサイズを減らすためのアプローチの1つである。 モデルパラメータの少ないLLM(学生)は、特定のタスクにおいてより大きなサイズ(教師モデル)のLLMのパフォーマンスを模倣するように訓練される。 ドメイン固有のタスクについては、教師または学生モデル、または両方がドメイン適応のために考慮されなければならないかどうかが明確でない。 本研究では,この課題を,通信分野におけるQA(QA)タスクの観点から検討する。 教師のみのスーパービジョンファインチューニング(SFT)、学生のみのSFT、KD以前のSFTを体系的に実験した。 蒸留モデルにおける語彙(母と異なる)とKDアルゴリズム(Vanilla KD, Dual Space KD, DSKD)の影響を検討する実験を設計した。 14種類の異なる指標(N-gram, 埋め込み, LLM)を用いた蒸留の多面的評価について検討した。 実験結果から,両モデルが同じ語彙を持つ場合,教師のSFTは,アルゴリズムやメトリクスによらず,蒸留モデルの性能を向上させることが示された。 総じて、教師と生徒のSFTは、教師モデルの語彙によって異なるが、すべての指標でより良いパフォーマンスが得られる。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Mentor-KD: Making Small Language Models Better Multi-step Reasoners [15.159415340059388]
  我々は,LLMのマルチステップ推論能力をより小さいLMに効果的に蒸留するメンター-KDを提案する。 我々は、メンタ、中間サイズのタスク固有の微調整モデルを利用して、追加のCoTアノテーションを強化します。 我々は広範囲な実験を行い、メンターKDの有効性を様々なモデルや複雑な推論タスクで確認する。
  論文  参考訳（メタデータ） (2024-10-11T17:53:27Z)
• Learning from Committee: Reasoning Distillation from a Mixture of Teachers with Peer-Review [11.756344944226495]
  ピアリビュー(FAIR)アプローチによる新しいフォールト・アウェア・ディストイレーション(Fact-Aware DistIllation)を導入する。 本手法は,教師から合理性を得るのではなく,教師に生徒の過ちを特定・説明するよう求めている。
  論文  参考訳（メタデータ） (2024-10-04T17:59:41Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Direct Preference Knowledge Distillation for Large Language Models [73.50849692633953]
  大規模言語モデル(LLM)のためのDPKD(Direct Preference Knowledge Distillation)を提案する。 我々はLLMのKDを、暗黙の報酬と逆のKL分岐からなる最適化と目的の2段階に再構成する。 実験と理論的解析により,KDにおける暗黙の報酬と出力選好の価値と効果を証明した。
  論文  参考訳（メタデータ） (2024-06-28T09:23:40Z)
• Knowledge Distillation of LLM for Automatic Scoring of Science Education Assessments [4.541309099803903]
  本研究では,超微調整大言語モデル(LLM)の知識蒸留(KD)手法を提案する。 リソース制約のあるデバイスにこれらのモデルをデプロイするという課題を特にターゲットとしています。
  論文  参考訳（メタデータ） (2023-12-26T01:24:25Z)
• MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
  知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。 より小さな言語モデルにLPMを蒸留するKD手法を提案する。 提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
  論文  参考訳（メタデータ） (2023-06-14T14:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。