論文の概要: QuLoC: Photonic Quantum-Assisted Low-Rank LLM Compression

• arxiv url: http://arxiv.org/abs/2609.40146v2
• Date: Fri, 02 Oct 2026 13:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:29.975254
• Title: QuLoC: Photonic Quantum-Assisted Low-Rank LLM Compression
• Title（参考訳）: QuLoC:フォトニック量子支援低ランクLDM圧縮
• Abstract要約: フォトニック量子支援LLM圧縮アルゴリズムQuLoCを紹介する。 トレーニング中に保持される低ランクコンポーネントをゲートするために量子回路出力を使用する。 最先端のベースラインよりも平均的なダウンストリーム精度を達成します。
• 参考スコア（独自算出の注目度）: 10.183537745744355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As LLMs grow in size, compression becomes increasingly important for efficient deployment. SVD-based low-rank compression reduces parameter counts but can degrade downstream performance. To improve performance after compression, we introduce QuLoC, a photonic quantum-assisted LLM compression algorithm that uses quantum circuit outputs to gate the retained low-rank components during training. Model performance is recovered through local functional reconstruction followed by end-to-end knowledge distillation. After training, the gating coefficients are absorbed into the low-rank factors, allowing the compressed model to run on classical hardware without executing quantum circuits during inference. Experiments on Qwen3.5-4B show that QuLoC achieves a 9.73\% relative improvement in average accuracy over state-of-the-art baselines across multiple downstream tasks, demonstrating its effectiveness. We further evaluate QuLoC on LLaMA-7B at different parameter compression ratios. It achieves comparable or higher average downstream accuracy than state-of-the-art baselines, supporting its applicability to a larger model across different compression settings. These results motivate further exploration of photonic quantum-assisted compression for larger models and more complex agentic tasks.
• Abstract（参考訳）: LLMのサイズが大きくなるにつれて、効率的なデプロイメントには圧縮がますます重要になる。 SVDベースの低ランク圧縮はパラメータ数を削減しますが、下流のパフォーマンスを低下させます。 圧縮後の性能向上のために,量子回路出力を用いた光量子支援LEM圧縮アルゴリズムQuLoCを導入し,トレーニング中に保持する低ランク成分をゲートする。 局所的な機能的再構築とエンドツーエンドの知識蒸留によりモデル性能が回復する。 トレーニング後、ゲーティング係数は低ランク因子に吸収され、圧縮されたモデルは推論中に量子回路を実行することなく古典的なハードウェア上で動作することができる。 Qwen3.5-4Bの実験では、QuLoCは複数のダウンストリームタスクにわたる最先端のベースラインの平均精度を9.73倍に向上し、その効果を実証している。 パラメータ圧縮比の異なるLLaMA-7B上でQuLoCを評価する。 最先端のベースラインよりも平均的なダウンストリーム精度が向上し、さまざまな圧縮設定にわたる大きなモデルの適用性をサポートする。 これらの結果は、より大きなモデルとより複雑なエージェントタスクのためのフォトニック量子支援圧縮のさらなる探索を動機付けている。

関連論文リスト

• ProGIC: Progressive and Lightweight Generative Image Compression with Residual Vector Quantization [59.481950697968706]
  残留ベクトル量子化(RVQ)に基づくコンパクトなプログレッシブ生成画像圧縮(ProGIC)を提案する。 RVQでは、ベクトル量子化器の列がステージごとに残余を符号化し、それぞれが独自のコードブックを持つ。 これを奥行き分離可能な畳み込みと小さな注意ブロックに基づく軽量なバックボーンと組み合わせることで、GPUとCPUのみのデバイスに実用的なデプロイを可能にします。
  論文  参考訳（メタデータ） (2026-03-03T11:47:05Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• A Fast Quantum Image Compression Algorithm based on Taylor Expansion [0.0]
  本研究では,パラメータ化量子回路内での量子画像圧縮アルゴリズムを改良する。 本手法では,画像データをユニタリ演算子パラメータとして符号化し,暗号処理のエミュレートに量子コンパイルアルゴリズムを適用した。 Lenna や Cameraman などのベンチマーク画像による実験結果から,本手法は最大 86% の反復回数削減を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-02-15T06:03:49Z)
• PALQA: A Novel Parameterized Position-Aware Lossy Quantum Autoencoder using LSB Control Qubit for Efficient Image Compression [7.340017786387768]
  本研究では、画像圧縮に最小のビット制御量子ビットを利用するPALQA(Parized position-aware Losy quantum autoencoder)回路を導入する。 PALQA回路は、必要なゲート数とPSNRメトリクスの点で優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-04T10:08:02Z)
• CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
  CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。 本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。 エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。 推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
  論文  参考訳（メタデータ） (2024-12-23T10:41:18Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
  最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。 モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。 本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:31Z)
• Modeling Image Quantization Tradeoffs for Optimal Compression [0.0]
  ロスシー圧縮アルゴリズムは、圧縮率を上げるために高周波データを定量化することでトレードオフを狙う。 本稿では,Deep Learningとminimax損失関数を用いた量子化テーブルの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T07:35:22Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。