論文の概要: Quantum Knowledge Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.13205v2
• Date: Fri, 01 Aug 2025 06:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.519838
• Title: Quantum Knowledge Distillation for Large Language Models
• Title（参考訳）: 大規模言語モデルのための量子知識蒸留
• Authors: Lingxiao Li, Yihao Wang, Jiacheng Fan, Jing Li, Sujuan Qin, Qiaoyan Wen, Fei Gao,
• Abstract要約: 大規模言語モデルのための量子知識蒸留モデル(QD-LLM)を提案する。 古典的シミュレーションでは、QD-LLMは複数のテキスト分類タスクにおいていくつかの主流蒸留法より優れている。 得られた回路をQuafuプラットフォームを介してBaihua超伝導量子プロセッサ上に展開し,実用性を評価する。
• 参考スコア（独自算出の注目度）: 10.023534560183919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As foundational tools in natural language processing, Large Language Models (LLMs) have immense parameter scales, which makes deployment and inference increasingly prohibitive, especially in resource-constrained devices. Therefore, knowledge distillation for LLMs, i.e., compressing the LLM to a smaller model, is meaningful. With strong parameter representation capacity, quantum computing is regarded as a promising solution. Here, we propose a Quantum knowledge Distillation model for LLMs (QD-LLM) that leverages variational quantum circuits to learn from LLMs. In classical simulation, QD-LLM outperforms several mainstream distillation methods on multiple text classification tasks in terms of both accuracy and efficiency using only 11 qubits. The results reveal an interesting phenomenon that the simulation of quantum student models may be regarded as a new class of quantum-inspired classical algorithms. Remarkably, we deploy the obtained circuits on the Baihua superconducting quantum processor via the Quafu platform to assess practical feasibility. The model maintains stable inference performance despite hardware constraints such as decoherence and finite sampling. In summary, QD-LLM marks a foundational step in connecting quantum computing with LLMs, demonstrating the feasibility of quantum-native approaches that aim to compress and deploy models of increasingly larger scales. The code of this article has been open-sourced at https://github.com/Lilingxiao-bupt/QD-LLM.
• Abstract（参考訳）: 自然言語処理の基本的なツールとして、大規模言語モデル(LLM)は膨大なパラメータスケールを持ち、特にリソース制約のあるデバイスにおいて、デプロイメントと推論がますます禁じられている。 したがって、LLMの知識蒸留、すなわちLLMをより小さなモデルに圧縮することは有意義である。 強力なパラメータ表現能力により、量子コンピューティングは有望な解と見なされる。 本稿では,LLMから学習するために変分量子回路を利用するLLM(QD-LLM)の量子知識蒸留モデルを提案する。 古典的シミュレーションでは、QD-LLMは11キュービットの精度と効率の両面から、複数のテキスト分類タスクにおいて、いくつかの主流蒸留法より優れている。 この結果は、量子学生モデルのシミュレーションが量子にインスパイアされた古典的アルゴリズムの新しいクラスと見なされる興味深い現象であることを示している。 注目すべきは、得られた回路をQuafuプラットフォームを介してBaihua超伝導量子プロセッサ上に展開し、実用性を評価することである。 このモデルは、デコヒーレンスや有限サンプリングといったハードウェア制約にもかかわらず、安定した推論性能を維持している。 要約すると、QD-LLMはLLMと量子コンピューティングを接続する基本的なステップであり、より大規模なモデルを圧縮およびデプロイすることを目的とした量子ネイティブアプローチの実現可能性を示している。 この記事のコードはhttps://github.com/Lilingxiao-bupt/QD-LLM.comで公開されている。

関連論文リスト

• VQC-MLPNet: An Unconventional Hybrid Quantum-Classical Architecture for Scalable and Robust Quantum Machine Learning [60.996803677584424]
  変分量子回路(VQC)は、量子機械学習のための新しい経路を提供する。 それらの実用的応用は、制約付き線形表現性、最適化課題、量子ハードウェアノイズに対する鋭敏感といった固有の制限によって妨げられている。 この研究は、これらの障害を克服するために設計されたスケーラブルで堅牢なハイブリッド量子古典アーキテクチャであるVQC-MLPNetを導入している。
  論文  参考訳（メタデータ） (2025-06-12T01:38:15Z)
• Q-Fusion: Diffusing Quantum Circuits [2.348041867134616]
  本稿では、新しい量子回路を生成するためにLayerDAGフレームワークを利用する拡散型アルゴリズムを提案する。 本結果は,提案モデルが100%有効な量子回路出力を連続的に生成することを示す。
  論文  参考訳（メタデータ） (2025-04-29T14:10:10Z)
• Quantizing Large Language Models for Code Generation: A Differentiated Replication [51.85505914274633]
  大規模言語モデル(LLM)は、コード生成において印象的な能力を示しており、特に自然言語で記述された要求を自動的に実装する。 LLMはメモリ(そして結果として炭素)のフットプリントに重大な課題をもたらす。 LLM量子化の新しいフロンティアは4ビット精度であり、平均メモリフットプリントが70%減少する。
  論文  参考訳（メタデータ） (2025-03-10T09:26:08Z)
• Learning to Measure Quantum Neural Networks [10.617463958884528]
  本稿では,量子系の可観測性,特にエルミート行列学習性を実現する新しい手法を提案する。 本手法では,パラメータ化可観測関数を通常の量子回路パラメータとともに学習するエンド・ツー・エンドの微分可能学習フレームワークを特徴とする。 数値シミュレーションにより,提案手法は変動量子回路の観測値の同定が可能であり,その結果が得られた。
  論文  参考訳（メタデータ） (2025-01-10T02:28:19Z)
• A learning agent-based approach to the characterization of open quantum systems [0.0]
  我々は,オープンな量子モデル学習エージェント (oQMLA) フレームワークを導入し,Louvillianフォーマリズムによるマルコフ雑音を考慮した。 ハミルトン作用素とジャンプ作用素を同時に学習することにより、oQMLAは独立に系のコヒーレント力学と非コヒーレント力学の両方を捉える。 複雑化のシミュレーションシナリオにおける本実装の有効性を検証し,ハードウェアによる測定誤差に対するロバスト性を示す。
  論文  参考訳（メタデータ） (2025-01-09T16:25:17Z)
• Quantum Kernel-Based Long Short-term Memory [0.30723404270319693]
  本稿では,Quantum Kernel-Based Long Short-Term Memory (QK-LSTM) ネットワークを導入する。 この量子化アーキテクチャは、効率的な収束、ロバストな損失最小化、モデルコンパクト性を示す。 ベンチマークの結果,QK-LSTMは従来のLSTMモデルと同等の性能を示すが,パラメータは少ない。
  論文  参考訳（メタデータ） (2024-11-20T11:39:30Z)
• Leveraging Pre-Trained Neural Networks to Enhance Machine Learning with Variational Quantum Circuits [48.33631905972908]
  我々は、事前学習されたニューラルネットワークを用いて変分量子回路(VQC)を強化する革新的なアプローチを導入する。 この手法は近似誤差をキュービット数から効果的に分離し、制約条件の必要性を除去する。 我々の結果はヒトゲノム解析などの応用にまで拡張され、我々のアプローチの幅広い適用性を示している。
  論文  参考訳（メタデータ） (2024-11-13T12:03:39Z)
• Learning Density Functionals from Noisy Quantum Data [0.0]
  ノイズの多い中間スケール量子(NISQ)デバイスは、機械学習(ML)モデルのトレーニングデータを生成するために使用される。 NISQアルゴリズムの典型的なノイズを受ける小さなデータセットからニューラルネットワークMLモデルをうまく一般化できることを示す。 本研究は,NISQデバイスを実用量子シミュレーションに活用するための有望な経路であることを示唆する。
  論文  参考訳（メタデータ） (2024-09-04T17:59:55Z)
• Designing Large Foundation Models for Efficient Training and Inference: A Survey [35.40505841618305]
  本稿では,基礎モデルに基づく現代的効率的なトレーニングと推論技術に焦点を当てる。 モデルとシステムデザイン 計算資源を節約するために、異なる側面からのLLMトレーニングと推論を最適化する。
  論文  参考訳（メタデータ） (2024-09-03T15:35:01Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Feature Importance and Explainability in Quantum Machine Learning [0.0]
  多くの機械学習(ML)モデルはブラックボックスモデルと呼ばれ、なぜ予測されるのかについて本当の洞察を与えていない。 本稿では、古典的MLモデルと比較して量子機械学習(QML)の特徴的重要性と説明可能性について考察する。
  論文  参考訳（メタデータ） (2024-05-14T19:12:32Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• QKSAN: A Quantum Kernel Self-Attention Network [53.96779043113156]
  量子カーネル法(Quantum Kernel Methods, QKM)のデータ表現能力とSAMの効率的な情報抽出能力を組み合わせた量子カーネル自己認識機構(Quantum Kernel Self-Attention Mechanism, QKSAM)を導入する。 量子カーネル自己保持ネットワーク(QKSAN)フレームワークは,DMP(Dederred Measurement Principle)と条件測定技術を巧みに組み込んだQKSAMに基づいて提案されている。 4つのQKSANサブモデルはPennyLaneとIBM Qiskitプラットフォームにデプロイされ、MNISTとFashion MNISTのバイナリ分類を実行する。
  論文  参考訳（メタデータ） (2023-08-25T15:08:19Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)
• Explaining Quantum Circuits with Shapley Values: Towards Explainable Quantum Machine Learning [1.0984331138780683]
  人工知能(AI)や機械学習(ML)の手法はますます複雑化しており、同時に人々の生活にも影響を及ぼしている。 並行して、量子機械学習(QML)が登場し、量子コンピューティングハードウェアの改善とクラウドサービスによる可用性の向上が進行中である。 QMLは、量子力学を利用してMLタスク(典型的には量子と古典のリソースを組み合わせた量子古典的ハイブリッドアルゴリズム)を促進する量子強化MLを可能にする。
  論文  参考訳（メタデータ） (2023-01-22T15:17:12Z)
• QSAN: A Near-term Achievable Quantum Self-Attention Network [73.15524926159702]
  SAM(Self-Attention Mechanism)は機能の内部接続を捉えるのに長けている。 短期量子デバイスにおける画像分類タスクに対して,新しい量子自己注意ネットワーク(QSAN)を提案する。
  論文  参考訳（メタデータ） (2022-07-14T12:22:51Z)
• Quantum-tailored machine-learning characterization of a superconducting qubit [50.591267188664666]
  我々は,量子デバイスのダイナミクスを特徴付ける手法を開発し,デバイスパラメータを学習する。 このアプローチは、数値的に生成された実験データに基づいてトレーニングされた物理に依存しないリカレントニューラルネットワークより優れている。 このデモンストレーションは、ドメイン知識を活用することで、この特徴付けタスクの正確性と効率が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-24T15:58:57Z)
• Quantum Federated Learning with Quantum Data [87.49715898878858]
  量子機械学習(QML)は、量子コンピューティングの発展に頼って、大規模な複雑な機械学習問題を探求する、有望な分野として登場した。 本稿では、量子データ上で動作し、量子回路パラメータの学習を分散的に共有できる初めての完全量子連合学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-30T12:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。