論文の概要: Quantum Relational Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2508.13054v1
• Date: Mon, 18 Aug 2025 16:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.481489
• Title: Quantum Relational Knowledge Distillation
• Title（参考訳）: 量子関係知識蒸留
• Authors: Chen-Yu Liu, Kuan-Cheng Chen, Keisuke Murota, Samuel Yen-Chi Chen, Enrico Rinaldi,
• Abstract要約: 本稿では、量子情報による知識蒸留(RKD)を拡張する量子知識蒸留(QRKD)を提案する。 古典的特徴をリレーショナル空間にマッピングし、それらを量子状態として解釈し、量子カーネルの値を計算してよりリッチなサンプル間関係を捉える。 この研究は、完全に古典的な展開における量子化知識蒸留の最初の実演である。
• 参考スコア（独自算出の注目度）: 3.0691593646483097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) is a widely adopted technique for compressing large models into smaller, more efficient student models that can be deployed on devices with limited computational resources. Among various KD methods, Relational Knowledge Distillation (RKD) improves student performance by aligning relational structures in the feature space, such as pairwise distances and angles. In this work, we propose Quantum Relational Knowledge Distillation (QRKD), which extends RKD by incorporating quantum relational information. Specifically, we map classical features into a Hilbert space, interpret them as quantum states, and compute quantum kernel values to capture richer inter-sample relationships. These quantum-informed relations are then used to guide the distillation process. We evaluate QRKD on both vision and language tasks, including CNNs on MNIST and CIFAR-10, and GPT-2 on WikiText-2, Penn Treebank, and IMDB. Across all benchmarks, QRKD consistently improves student model performance compared to classical RKD. Importantly, both teacher and student models remain classical and deployable on standard hardware, with quantum computation required only during training. This work presents the first demonstration of quantum-enhanced knowledge distillation in a fully classical deployment setting.
• Abstract（参考訳）: 知識蒸留(KD)は、大きなモデルをより小さく、より効率的な学生モデルに圧縮し、限られた計算資源を持つデバイスに展開するための広く採用されている技術である。 様々なKD手法の中で、RKD(Relational Knowledge Distillation)は、対距離や角度などの特徴空間における関係構造を整列させることにより、学生のパフォーマンスを向上させる。 本研究では,RKDを拡張した量子関係知識蒸留(QRKD)を提案する。 具体的には、古典的特徴をヒルベルト空間にマッピングし、それらを量子状態として解釈し、よりリッチなサンプル間関係を捉えるために量子カーネル値を計算する。 これらの量子インフォームド関係は蒸留プロセスの導出に使用される。 QRKD は MNIST や CIFAR-10 の CNN や WikiText-2, Penn Treebank, IMDB の GPT-2 など,視覚と言語の両方のタスクで評価する。 すべてのベンチマークにおいて、QRKDは古典的なRKDに比べて一貫して生徒モデルのパフォーマンスを改善している。 重要なのは、教師モデルと学生モデルの両方が古典的であり、標準的なハードウェアにデプロイ可能であることだ。 この研究は、完全に古典的な展開環境での量子化知識蒸留の最初の実演である。

関連論文リスト

• Quantum Visual Fields with Neural Amplitude Encoding [70.86293548779774]
  本稿では2次元画像と3次元幾何場学習のための新しいタイプの量子入射ニューラル表現(QINR)を提案する。 QVFは古典的なデータを学習可能エネルギー多様体に接地したニューラル振幅符号化を用いて量子状態ベクトルに符号化する。 我々のアンサッツは、学習可能なパラメトリド量子回路の完全に絡み合った設計に従い、実際のヒルベルト空間で量子(単位)演算を行う。
  論文  参考訳（メタデータ） (2025-08-14T17:59:52Z)
• HDKD: Hybrid Data-Efficient Knowledge Distillation Network for Medical Image Classification [0.0]
  ビジョントランスフォーマー(ViT)は、強力なモデリング能力のため、コンピュータビジョンタスクにおいて大きな進歩を遂げている。 知識蒸留(KD)への以前のアプローチは、CNNの教師からViTの学生へのロジット分布の蒸留に焦点を絞った2つの主要な経路を追求してきた。 本稿では,CNN教師とハイブリッド学生を併用したHybrid Data- efficient Knowledge Distillation(HDKD)パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-07-10T10:09:12Z)
• Practical Few-Atom Quantum Reservoir Computing [0.0]
  量子Reservoir Computing (QRC) は、複雑な計算問題に異常な効率とエネルギー使用量の最小化で対処するために量子システムを利用する。 本稿では、光学キャビティ内の2レベル原子をわずかに含む最小限の量子貯水池を利用するQRCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-08T04:14:31Z)
• A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
  我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。 他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
  論文  参考訳（メタデータ） (2024-02-23T14:09:41Z)
• Bridging Classical and Quantum Machine Learning: Knowledge Transfer From Classical to Quantum Neural Networks Using Knowledge Distillation [0.0]
  本稿では,古典的畳み込みニューラルネットワーク(CNN)から量子ニューラルネットワーク(QNN)へ知識を伝達するための新しい枠組みを提案する。 我々は、MNIST, Fashion MNIST, CIFAR10データセット上の4および8キュービットを持つ2つのパラメタライズド量子回路(PQC)を用いて、広範な実験を行う。 我々の結果は、古典的なディープラーニングと新しい量子コンピューティングをブリッジし、量子マシンインテリジェンスにおいてより強力でリソースを意識したモデルを構築するための、有望なパラダイムを確立します。
  論文  参考訳（メタデータ） (2023-11-23T05:06:43Z)
• Disentangling Quantum and Classical Contributions in Hybrid Quantum Machine Learning Architectures [4.646930308096446]
  ハイブリッドトランスファー学習ソリューションが開発され、訓練済みの古典モデルと量子回路を融合した。 それぞれのコンポーネント(古典的、量子的)がモデルの結果にどの程度貢献するかは、まだ不明である。 本稿では,プレトレーニングされたネットワークを圧縮に利用する代わりに,オートエンコーダを用いて,圧縮したデータから圧縮したデータを導出するハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-09T18:13:50Z)
• QKSAN: A Quantum Kernel Self-Attention Network [53.96779043113156]
  量子カーネル法(Quantum Kernel Methods, QKM)のデータ表現能力とSAMの効率的な情報抽出能力を組み合わせた量子カーネル自己認識機構(Quantum Kernel Self-Attention Mechanism, QKSAM)を導入する。 量子カーネル自己保持ネットワーク(QKSAN)フレームワークは,DMP(Dederred Measurement Principle)と条件測定技術を巧みに組み込んだQKSAMに基づいて提案されている。 4つのQKSANサブモデルはPennyLaneとIBM Qiskitプラットフォームにデプロイされ、MNISTとFashion MNISTのバイナリ分類を実行する。
  論文  参考訳（メタデータ） (2023-08-25T15:08:19Z)
• When BERT Meets Quantum Temporal Convolution Learning for Text Classification in Heterogeneous Computing [75.75419308975746]
  本研究は,変分量子回路に基づく垂直連合学習アーキテクチャを提案し,テキスト分類のための量子化事前学習BERTモデルの競争性能を実証する。 目的分類実験により,提案したBERT-QTCモデルにより,SnipsおよびATIS音声言語データセットの競合実験結果が得られた。
  論文  参考訳（メタデータ） (2022-02-17T09:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。