論文の概要: Quantum-Enhanced LLM Efficient Fine Tuning

• arxiv url: http://arxiv.org/abs/2503.12790v2
• Date: Sun, 27 Apr 2025 10:23:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 18:43:11.244796
• Title: Quantum-Enhanced LLM Efficient Fine Tuning
• Title（参考訳）: 量子強化LDM高効率微調整
• Authors: Xiaofei Kong, Lei Li, Zhaoyun Chen, Cheng Xue, Xiaofan Xu, Huanyu Liu, Yuchun Wu, Yuan Fang, Han Fang, Kejiang Chen, Yang Yang, Menghan Dou, Guoping Guo,
• Abstract要約: Low-Rank Adaptation (LoRA)は、低ランク行列近似による事前学習言語モデルの効率的な微調整を可能にする。 本稿では,量子ニューラルネットワークとテンソルネットワークを統合するパラメータ効率の高い微調整法である量子ハイブリッド適応(QTHA)を提案する。 実験により、QTHAはLoRAの非効率な微調整に匹敵する性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 25.45732471566526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) enables efficient fine-tuning of pre-trained language models through low-rank matrix approximation, achieving effectiveness in many scenarios. However, its representation capacity is constrained in complex tasks or high-rank dependency settings, potentially limiting model adaptability. To overcome the expressive bottleneck in classical low-rank approximation for fine-tuning large language models (LLMs), we propose Quantum Tensor Hybrid Adaptation (QTHA), a parameter-efficient fine-tuning method that integrates a quantum neural network (QNN) with a tensor network. QTHA explores quantum tensor hybrid fine-tuning within low-rank spaces by decomposing pre-trained weights into quantum neural network and tensor network representations, leveraging quantum state superposition to overcome classical rank limitations. Experiments demonstrate that QTHA achieves performance comparable to or surpassing LoRA in parameter-efficient fine-tuning. Compared to LoRA, QTHA reduces trainable parameters by 76% while reducing training loss by up to 17% and improving test set performance by up to 17% within the same training steps. This research not only enables lightweight adaptation of quantum resources to the billion-parameter models but also validates the feasibility of quantum hardware optimization driven by LLM tasks. It establishes the first engineering-ready foundation for future quantum-enhanced Artificial General Intelligence (AGI) systems.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、ローランク行列近似による事前学習言語モデルの効率的な微調整を可能にし、多くのシナリオで有効性を実現する。 しかし、その表現能力は複雑なタスクや高レベルの依存性設定で制約されており、モデル適応性を制限する可能性がある。 本研究では,量子ニューラルネットワーク(QNN)とテンソルネットワークを統合するパラメータ効率の高い微調整手法である量子テンソルハイブリッド適応(QTHA)を提案する。 QTHAは、トレーニング済みの重みを量子ニューラルネットワークやテンソルネットワーク表現に分解し、量子状態重畳を利用して古典的な階数制限を克服することで、低ランク空間内での量子テンソルハイブリッド微調整を探索する。 実験により、QTHAはパラメータ効率のよい微調整において、LoRAに匹敵する性能を達成することが示された。 LoRAと比較して、QTHAはトレーニング可能なパラメータを76%削減し、トレーニング損失を最大17%削減し、同じトレーニングステップでテストセットのパフォーマンスを最大17%改善する。 この研究は、数十億パラメータモデルへの量子リソースの軽量な適応を可能にするだけでなく、LLMタスクによって駆動される量子ハードウェア最適化の実現可能性も検証する。 将来の量子強化人工知能(AGI)システムのための最初のエンジニアリング対応基盤を確立している。

関連論文リスト

• Hybrid Quantum Recurrent Neural Network For Remaining Useful Life Prediction [67.410870290301]
  本稿では、量子長短期記憶層と古典的な高密度層を組み合わせたハイブリッド量子リカレントニューラルネットワークフレームワークを提案する。 実験の結果、トレーニング可能なパラメータが少ないにもかかわらず、Hybrid Quantum Recurrent Neural Networkは、リカレントニューラルネットワークよりも最大5%改善できることがわかった。
  論文  参考訳（メタデータ） (2025-04-29T14:41:41Z)
• Quantum-PEFT: Ultra parameter-efficient fine-tuning [46.145294417722184]
  量子PEFTは、基礎となるフルランクだが驚くほどパラメータ効率のよい量子ユニタリパラメータ化を利用する。 我々は,量子PEFTが,次元が大きくなるにつれて,最低ランクのLoRAよりもはるかに少ないトレーニング可能なパラメータ数を達成することを示す。 本稿では,言語と視覚の伝達学習ベンチマークにQuantum-PEFTを適用し,パラメータ効率の顕著な優位性を示す。
  論文  参考訳（メタデータ） (2025-03-07T14:01:25Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Quantum-Train-Based Distributed Multi-Agent Reinforcement Learning [5.673361333697935]
  量子トレインに基づく分散マルチエージェント強化学習(Dist-QTRL) 量子トレインに基づく分散マルチエージェント強化学習(Dist-QTRL)を紹介する。
  論文  参考訳（メタデータ） (2024-12-12T00:51:41Z)
• Leveraging Pre-Trained Neural Networks to Enhance Machine Learning with Variational Quantum Circuits [48.33631905972908]
  我々は、事前学習されたニューラルネットワークを用いて変分量子回路(VQC)を強化する革新的なアプローチを導入する。 この手法は近似誤差をキュービット数から効果的に分離し、制約条件の必要性を除去する。 我々の結果はヒトゲノム解析などの応用にまで拡張され、我々のアプローチの幅広い適用性を示している。
  論文  参考訳（メタデータ） (2024-11-13T12:03:39Z)
• A Quantum Circuit-Based Compression Perspective for Parameter-Efficient Learning [19.178352290785153]
  量子パラメータ生成の枠組みに量子s適応(QPA)を導入する。 QPAはQNNと古典的な多層パーセプトロンマッピングモデルを統合し、微調整のためのパラメータを生成する。 Gemma-2とGPT-2をケーススタディとして、QPAはパラメータ効率のよい微調整法に対して重要なパラメータ還元を示す。
  論文  参考訳（メタデータ） (2024-10-13T14:09:29Z)
• Quantum-Trained Convolutional Neural Network for Deepfake Audio Detection [3.2927352068925444]
  ディープフェイク技術は プライバシー セキュリティ 情報整合性に 課題をもたらす 本稿では,ディープフェイク音声の検出を強化するために,量子学習型畳み込みニューラルネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-11T20:52:10Z)
• Quantum-Train with Tensor Network Mapping Model and Distributed Circuit Ansatz [0.8192907805418583]
  量子トレイン(Quantum-Train、QT)は、量子古典機械学習のハイブリッドフレームワークである。 量子状態の測定を古典的なニューラルネットワークの重みにマッピングする。 従来のQTフレームワークでは、このタスクにマルチレイヤパーセプトロン(MLP)を採用しているが、スケーラビリティと解釈可能性に苦慮している。 複数の小さな量子処理ユニットノードを持つ大規模量子機械学習用に設計された分散回路アンサッツを提案する。
  論文  参考訳（メタデータ） (2024-09-11T03:51:34Z)
• Federated Quantum-Train with Batched Parameter Generation [3.697453416360906]
  我々は、QTモデルをフェデレートラーニングに統合する、Federated Quantum-Train(QT)フレームワークを紹介する。 提案手法は, 一般化誤差を低減しつつ, 量子ビット使用量を19から8キュービットまで大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-04T14:39:11Z)
• Quantum-Train: Rethinking Hybrid Quantum-Classical Machine Learning in the Model Compression Perspective [7.7063925534143705]
  本稿では,量子コンピューティングと機械学習アルゴリズムを統合する新しいアプローチであるQuantum-Train(QT)フレームワークを紹介する。 QTは、古典的なマッピングモデルと並んで量子ニューラルネットワークを利用することで、顕著な結果を得る。
  論文  参考訳（メタデータ） (2024-05-18T14:35:57Z)
• A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
  我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。 他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
  論文  参考訳（メタデータ） (2024-02-23T14:09:41Z)
• Bridging Classical and Quantum Machine Learning: Knowledge Transfer From Classical to Quantum Neural Networks Using Knowledge Distillation [0.0]
  本稿では,古典的畳み込みニューラルネットワーク(CNN)から量子ニューラルネットワーク(QNN)へ知識を伝達するための新しい枠組みを提案する。 我々は、MNIST, Fashion MNIST, CIFAR10データセット上の4および8キュービットを持つ2つのパラメタライズド量子回路(PQC)を用いて、広範な実験を行う。 我々の結果は、古典的なディープラーニングと新しい量子コンピューティングをブリッジし、量子マシンインテリジェンスにおいてより強力でリソースを意識したモデルを構築するための、有望なパラダイムを確立します。
  論文  参考訳（メタデータ） (2023-11-23T05:06:43Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits [70.97518416003358]
  変分量子回路(VQC)は、ノイズの多い中間スケール量子(NISQ)デバイス上での量子機械学習を約束する。 テンソルトレインネットワーク(TTN)はVQC表現と一般化を向上させることができるが、結果として得られるハイブリッドモデルであるTTN-VQCは、Polyak-Lojasiewicz(PL)条件による最適化の課題に直面している。 この課題を軽減するために,プレトレーニングTTNモデルとVQCを組み合わせたPre+TTN-VQCを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:08:18Z)
• Synergy Between Quantum Circuits and Tensor Networks: Short-cutting the Race to Practical Quantum Advantage [43.3054117987806]
  本稿では,量子回路の初期化を最適化するために,古典計算資源を利用するスケーラブルな手法を提案する。 本手法は, PQCのトレーニング性, 性能を, 様々な問題において著しく向上させることを示す。 古典的コンピュータを用いて限られた量子資源を増強する手法を実証することにより、量子コンピューティングにおける量子と量子に着想を得たモデル間の相乗効果を実証する。
  論文  参考訳（メタデータ） (2022-08-29T15:24:03Z)
• FLIP: A flexible initializer for arbitrarily-sized parametrized quantum circuits [105.54048699217668]
  任意サイズのパラメタライズド量子回路のためのFLexible Initializerを提案する。 FLIPは任意の種類のPQCに適用することができ、初期パラメータの一般的なセットに頼る代わりに、成功したパラメータの構造を学ぶように調整されている。 本稿では, 3つのシナリオにおいてFLIPを用いることの利点を述べる。不毛な高原における問題ファミリ, 最大カット問題インスタンスを解くPQCトレーニング, 1次元フェルミ-ハッバードモデルの基底状態エネルギーを求めるPQCトレーニングである。
  論文  参考訳（メタデータ） (2021-03-15T17:38:33Z)
• Quantum circuit architecture search for variational quantum algorithms [88.71725630554758]
  本稿では、QAS(Quantum Architecture Search)と呼ばれるリソースと実行時の効率的なスキームを提案する。 QASは、よりノイズの多い量子ゲートを追加することで得られる利点と副作用のバランスをとるために、自動的にほぼ最適アンサッツを求める。 数値シミュレータと実量子ハードウェアの両方に、IBMクラウドを介してQASを実装し、データ分類と量子化学タスクを実現する。
  論文  参考訳（メタデータ） (2020-10-20T12:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。