論文の概要: Quantum-Enhanced LLM Efficient Fine Tuning

• arxiv url: http://arxiv.org/abs/2503.12790v1
• Date: Mon, 17 Mar 2025 03:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 14:56:58.098687
• Title: Quantum-Enhanced LLM Efficient Fine Tuning
• Title（参考訳）: 量子強化LDM高効率微調整
• Authors: Xiaofei Kong, Lei Li, Menghan Dou, Zhaoyun Chen, Yuchun Wu, Guoping Guo,
• Abstract要約: Low-Rank Adaptation (LoRA)は、事前訓練された言語モデルの効率的な微調整を可能にする。 低ランク表現能力は複雑なタスクや高ランク依存設定で制約される。
• 参考スコア（独自算出の注目度）: 5.851539569102247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) enables efficient fine-tuning of pre-trained language models via low-rank matrix approximation, which is effective in many scenarios. However, its low-rank representation capacity is constrained in complex tasks or high-rank dependency settings, potentially limiting model adaptability. Addressing the expressive bottleneck of classical low-rank approximation in fine-tuning large language models, this paper proposes a parameter-efficient fine-tuning method based on a Quantum Weighted Tensor Hybrid Network (QWTHN), which leverages Quantum Neural Network (QNN). The study investigates quantum-classical hybrid parameter-efficient fine-tuning in low-rank spaces. QWTHN decomposes pre-trained weights into quantum neural network and tensor network representations, utilizing quantum state superposition and other methods to break through classical rank limitations. Experiments show that the proposed quantum fine-tuning technique for large models approaches or even surpasses the parameter efficiency of LoRA. On the CPsyCounD and R1-Distill-SFT datasets, QWTHN, compared to classical LoRA, reduces training loss by up to 15% while using 76% fewer parameters, and achieves an 8.4% performance improvement on the CPsyCounD test set. This research not only realizes lightweight and efficient adaptation of quantum resources to billion-parameter models but also validates the practical path of quantum hardware driven by large model tasks, laying the first engineering-ready technical foundation for future quantum-enhanced AGI systems.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、ローランク行列近似による事前学習言語モデルの効率的な微調整を可能にし、多くのシナリオで有効である。 しかし、その低ランク表現能力は複雑なタスクや高ランク依存設定で制約されており、モデル適応性を制限する可能性がある。 本稿では,量子ニューラルネットワーク(QNN)を利用した量子重み付きテンソルハイブリッドネットワーク(QWTHN)に基づくパラメータ効率の高い微調整手法を提案する。 本研究は,低ランク空間における量子古典的ハイブリッドパラメータ効率微調整について検討した。 QWTHNは、トレーニング済みの重みを量子ニューラルネットワークとテンソルネットワーク表現に分解し、量子状態の重ね合わせやその他の方法で古典的なランク制限を突破する。 実験により,大規模モデルに対する量子微調整手法がLoRAのパラメータ効率に近づいたり,あるいは超越した結果が得られた。 CPsyCounDとR1-Distill-SFTデータセットでは、古典的なLoRAと比較してトレーニング損失を最大15%削減し、パラメータを76%削減し、CPsyCounDテストセットで8.4%のパフォーマンス改善を実現している。 この研究は、数十億パラメータモデルへの量子リソースの軽量で効率的な適応を実現するだけでなく、大規模なモデルタスクによって駆動される量子ハードウェアの実践的パスを検証する。

関連論文リスト

• Hybrid Quantum Recurrent Neural Network For Remaining Useful Life Prediction [67.410870290301]
  本稿では、量子長短期記憶層と古典的な高密度層を組み合わせたハイブリッド量子リカレントニューラルネットワークフレームワークを提案する。 実験の結果、トレーニング可能なパラメータが少ないにもかかわらず、Hybrid Quantum Recurrent Neural Networkは、リカレントニューラルネットワークよりも最大5%改善できることがわかった。
  論文  参考訳（メタデータ） (2025-04-29T14:41:41Z)
• Quantum-PEFT: Ultra parameter-efficient fine-tuning [46.145294417722184]
  量子PEFTは、基礎となるフルランクだが驚くほどパラメータ効率のよい量子ユニタリパラメータ化を利用する。 我々は,量子PEFTが,次元が大きくなるにつれて,最低ランクのLoRAよりもはるかに少ないトレーニング可能なパラメータ数を達成することを示す。 本稿では,言語と視覚の伝達学習ベンチマークにQuantum-PEFTを適用し,パラメータ効率の顕著な優位性を示す。
  論文  参考訳（メタデータ） (2025-03-07T14:01:25Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Quantum-Train-Based Distributed Multi-Agent Reinforcement Learning [5.673361333697935]
  量子トレインに基づく分散マルチエージェント強化学習(Dist-QTRL) 量子トレインに基づく分散マルチエージェント強化学習(Dist-QTRL)を紹介する。
  論文  参考訳（メタデータ） (2024-12-12T00:51:41Z)
• Leveraging Pre-Trained Neural Networks to Enhance Machine Learning with Variational Quantum Circuits [48.33631905972908]
  我々は、事前学習されたニューラルネットワークを用いて変分量子回路(VQC)を強化する革新的なアプローチを導入する。 この手法は近似誤差をキュービット数から効果的に分離し、制約条件の必要性を除去する。 我々の結果はヒトゲノム解析などの応用にまで拡張され、我々のアプローチの幅広い適用性を示している。
  論文  参考訳（メタデータ） (2024-11-13T12:03:39Z)
• A Quantum Circuit-Based Compression Perspective for Parameter-Efficient Learning [19.178352290785153]
  量子パラメータ生成の枠組みに量子s適応(QPA)を導入する。 QPAはQNNと古典的な多層パーセプトロンマッピングモデルを統合し、微調整のためのパラメータを生成する。 Gemma-2とGPT-2をケーススタディとして、QPAはパラメータ効率のよい微調整法に対して重要なパラメータ還元を示す。
  論文  参考訳（メタデータ） (2024-10-13T14:09:29Z)
• Quantum-Trained Convolutional Neural Network for Deepfake Audio Detection [3.2927352068925444]
  ディープフェイク技術は プライバシー セキュリティ 情報整合性に 課題をもたらす 本稿では,ディープフェイク音声の検出を強化するために,量子学習型畳み込みニューラルネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-11T20:52:10Z)
• Quantum-Train with Tensor Network Mapping Model and Distributed Circuit Ansatz [0.8192907805418583]
  量子トレイン(Quantum-Train、QT)は、量子古典機械学習のハイブリッドフレームワークである。 量子状態の測定を古典的なニューラルネットワークの重みにマッピングする。 従来のQTフレームワークでは、このタスクにマルチレイヤパーセプトロン(MLP)を採用しているが、スケーラビリティと解釈可能性に苦慮している。 複数の小さな量子処理ユニットノードを持つ大規模量子機械学習用に設計された分散回路アンサッツを提案する。
  論文  参考訳（メタデータ） (2024-09-11T03:51:34Z)
• Federated Quantum-Train with Batched Parameter Generation [3.697453416360906]
  我々は、QTモデルをフェデレートラーニングに統合する、Federated Quantum-Train(QT)フレームワークを紹介する。 提案手法は, 一般化誤差を低減しつつ, 量子ビット使用量を19から8キュービットまで大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-04T14:39:11Z)
• Quantum-Train: Rethinking Hybrid Quantum-Classical Machine Learning in the Model Compression Perspective [7.7063925534143705]
  本稿では,量子コンピューティングと機械学習アルゴリズムを統合する新しいアプローチであるQuantum-Train(QT)フレームワークを紹介する。 QTは、古典的なマッピングモデルと並んで量子ニューラルネットワークを利用することで、顕著な結果を得る。
  論文  参考訳（メタデータ） (2024-05-18T14:35:57Z)
• A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
  我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。 他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
  論文  参考訳（メタデータ） (2024-02-23T14:09:41Z)
• Bridging Classical and Quantum Machine Learning: Knowledge Transfer From Classical to Quantum Neural Networks Using Knowledge Distillation [0.0]
  本稿では,古典的畳み込みニューラルネットワーク(CNN)から量子ニューラルネットワーク(QNN)へ知識を伝達するための新しい枠組みを提案する。 我々は、MNIST, Fashion MNIST, CIFAR10データセット上の4および8キュービットを持つ2つのパラメタライズド量子回路(PQC)を用いて、広範な実験を行う。 我々の結果は、古典的なディープラーニングと新しい量子コンピューティングをブリッジし、量子マシンインテリジェンスにおいてより強力でリソースを意識したモデルを構築するための、有望なパラダイムを確立します。
  論文  参考訳（メタデータ） (2023-11-23T05:06:43Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits [70.97518416003358]
  変分量子回路(VQC)は、ノイズの多い中間スケール量子(NISQ)デバイス上での量子機械学習を約束する。 テンソルトレインネットワーク(TTN)はVQC表現と一般化を向上させることができるが、結果として得られるハイブリッドモデルであるTTN-VQCは、Polyak-Lojasiewicz(PL)条件による最適化の課題に直面している。 この課題を軽減するために,プレトレーニングTTNモデルとVQCを組み合わせたPre+TTN-VQCを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:08:18Z)
• Synergy Between Quantum Circuits and Tensor Networks: Short-cutting the Race to Practical Quantum Advantage [43.3054117987806]
  本稿では,量子回路の初期化を最適化するために,古典計算資源を利用するスケーラブルな手法を提案する。 本手法は, PQCのトレーニング性, 性能を, 様々な問題において著しく向上させることを示す。 古典的コンピュータを用いて限られた量子資源を増強する手法を実証することにより、量子コンピューティングにおける量子と量子に着想を得たモデル間の相乗効果を実証する。
  論文  参考訳（メタデータ） (2022-08-29T15:24:03Z)
• FLIP: A flexible initializer for arbitrarily-sized parametrized quantum circuits [105.54048699217668]
  任意サイズのパラメタライズド量子回路のためのFLexible Initializerを提案する。 FLIPは任意の種類のPQCに適用することができ、初期パラメータの一般的なセットに頼る代わりに、成功したパラメータの構造を学ぶように調整されている。 本稿では, 3つのシナリオにおいてFLIPを用いることの利点を述べる。不毛な高原における問題ファミリ, 最大カット問題インスタンスを解くPQCトレーニング, 1次元フェルミ-ハッバードモデルの基底状態エネルギーを求めるPQCトレーニングである。
  論文  参考訳（メタデータ） (2021-03-15T17:38:33Z)
• Quantum circuit architecture search for variational quantum algorithms [88.71725630554758]
  本稿では、QAS(Quantum Architecture Search)と呼ばれるリソースと実行時の効率的なスキームを提案する。 QASは、よりノイズの多い量子ゲートを追加することで得られる利点と副作用のバランスをとるために、自動的にほぼ最適アンサッツを求める。 数値シミュレータと実量子ハードウェアの両方に、IBMクラウドを介してQASを実装し、データ分類と量子化学タスクを実現する。
  論文  参考訳（メタデータ） (2020-10-20T12:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。