論文の概要: Quantum Knowledge Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.13205v1
• Date: Mon, 19 May 2025 14:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.67314
• Title: Quantum Knowledge Distillation for Large Language Models
• Title（参考訳）: 大規模言語モデルのための量子知識蒸留
• Authors: Lingxiao Li, Yihao Wang, Jiacheng Fan, Jing Li, Sujuan Qin, Qiaoyan Wen, Fei Gao,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理の進歩に不可欠である。 量子コンピューティングは、重畳や絡み合いのような量子特性を持つ複雑な問題を効率的に解くために認識されている。 本稿では,LLMに対する量子知識蒸留アルゴリズム(QD-LLM)を提案する。
• 参考スコア（独自算出の注目度）: 10.023534560183919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are integral to advancing natural language processing, used extensively from machine translation to content creation. However, as these models scale to billions of parameters, their resource demands increase dramatically. Meanwhile, quantum computing is recognized for efficiently solving complex problems with quantum characteristics like superposition and entanglement, providing a novel approach to these challenges. This paper attempts to combine quantum computing with LLMs and proposes a Quantum knowledge Distillation algorithm for LLMs (QD-LLM), aimed at reducing the computational and memory overhead required for model loading and inference. Specifically, during the distillation stage, data is fed simultaneously into both the LLMs and the designed quantum student model to initially quantify the difference between their outputs; subsequently, with the help of the true label, the optimization of the quantum student model is executed to minimize the difference with the LLM's output. Throughout this process, only the parameters of the quantum student network are updated to make its output closer to that of the LLMs, thereby achieving the purpose of distillation. Finally, the optimized student model obtained by QD-LLM can efficiently solve domain-specific tasks during inference without the usage of the original LLMs. Experimental results show that, compared to mainstream compression methods, QD-LLM significantly reduces the number of training parameters, memory consumption, training time, and inference time while maintaining performance. Moreover, the optimized student model obtained by QD-LLM surpasses specific models designed for these tasks. We believe that QD-LLM can lay the groundwork for exploring the utilization of quantum computing in model compression and its potential extension to other natural language processing challenges.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、機械翻訳からコンテンツ生成まで幅広く使用される自然言語処理の進歩に不可欠である。 しかし、これらのモデルが数十億のパラメータにスケールするにつれて、リソース要求は劇的に増加する。 一方、量子コンピューティングは、重ね合わせや絡み合いのような量子特性の複雑な問題を効率的に解くために認識され、これらの課題に対する新しいアプローチを提供する。 本稿では,LLMと量子コンピューティングを組み合わせた量子知識蒸留アルゴリズム(QD-LLM)を提案する。 具体的には、蒸留段階では、データはLLMと設計された量子学生モデルの両方に同時に供給され、まず出力間の差を定量化し、その後、真のラベルの助けを借りて、LLMの出力との差を最小限に抑えるために量子学生モデルの最適化を実行する。 この過程を通じて、量子学生ネットワークのパラメータのみを更新し、その出力をLLMに近づけ、蒸留の目的を達成する。 最後に、QD-LLMによって得られた最適化された学生モデルは、元のLLMを使わずに推論中にドメイン固有のタスクを効率的に解くことができる。 実験の結果,QD-LLMは主流圧縮法と比較して,トレーニングパラメータ数,メモリ消費量,トレーニング時間,推論時間を大幅に削減することがわかった。 さらに、QD-LLMによって得られた最適化された学生モデルは、これらのタスクのために設計された特定のモデルを上回る。 我々はQD-LLMが、モデル圧縮における量子コンピューティングの利用と、他の自然言語処理課題への潜在的な拡張を探求する基盤となると信じている。

関連論文リスト

• Quantizing Large Language Models for Code Generation: A Differentiated Replication [51.85505914274633]
  大規模言語モデル(LLM)は、コード生成において印象的な能力を示しており、特に自然言語で記述された要求を自動的に実装する。 LLMはメモリ(そして結果として炭素)のフットプリントに重大な課題をもたらす。 LLM量子化の新しいフロンティアは4ビット精度であり、平均メモリフットプリントが70%減少する。
  論文  参考訳（メタデータ） (2025-03-10T09:26:08Z)
• Quantum Kernel-Based Long Short-term Memory [0.30723404270319693]
  本稿では,Quantum Kernel-Based Long Short-Term Memory (QK-LSTM) ネットワークを導入する。 この量子化アーキテクチャは、効率的な収束、ロバストな損失最小化、モデルコンパクト性を示す。 ベンチマークの結果,QK-LSTMは従来のLSTMモデルと同等の性能を示すが,パラメータは少ない。
  論文  参考訳（メタデータ） (2024-11-20T11:39:30Z)
• Learning Density Functionals from Noisy Quantum Data [0.0]
  ノイズの多い中間スケール量子(NISQ)デバイスは、機械学習(ML)モデルのトレーニングデータを生成するために使用される。 NISQアルゴリズムの典型的なノイズを受ける小さなデータセットからニューラルネットワークMLモデルをうまく一般化できることを示す。 本研究は,NISQデバイスを実用量子シミュレーションに活用するための有望な経路であることを示唆する。
  論文  参考訳（メタデータ） (2024-09-04T17:59:55Z)
• Designing Large Foundation Models for Efficient Training and Inference: A Survey [35.40505841618305]
  本稿では,基礎モデルに基づく現代的効率的なトレーニングと推論技術に焦点を当てる。 モデルとシステムデザイン 計算資源を節約するために、異なる側面からのLLMトレーニングと推論を最適化する。
  論文  参考訳（メタデータ） (2024-09-03T15:35:01Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。