Fugu-MT 論文翻訳(概要): Quantum-Enhanced LLM Efficient Fine Tuning

論文の概要: Quantum-Enhanced LLM Efficient Fine Tuning

arxiv url: http://arxiv.org/abs/2503.12790v1
Date: Mon, 17 Mar 2025 03:59:26 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-18 12:34:54.580076
Title: Quantum-Enhanced LLM Efficient Fine Tuning
Title（参考訳）: 量子強化LDM高効率微調整
Authors: Xiaofei Kong, Lei Li, Menghan Dou, Zhaoyun Chen, Yuchun Wu, Guoping Guo,
Abstract要約: Low-Rank Adaptation (LoRA)は、事前訓練された言語モデルの効率的な微調整を可能にする。低ランク表現能力は複雑なタスクや高ランク依存設定で制約される。
参考スコア（独自算出の注目度）: 5.851539569102247
License:
Abstract: Low-Rank Adaptation (LoRA) enables efficient fine-tuning of pre-trained language models via low-rank matrix approximation, which is effective in many scenarios. However, its low-rank representation capacity is constrained in complex tasks or high-rank dependency settings, potentially limiting model adaptability. Addressing the expressive bottleneck of classical low-rank approximation in fine-tuning large language models, this paper proposes a parameter-efficient fine-tuning method based on a Quantum Weighted Tensor Hybrid Network (QWTHN), which leverages Quantum Neural Network (QNN). The study investigates quantum-classical hybrid parameter-efficient fine-tuning in low-rank spaces. QWTHN decomposes pre-trained weights into quantum neural network and tensor network representations, utilizing quantum state superposition and other methods to break through classical rank limitations. Experiments show that the proposed quantum fine-tuning technique for large models approaches or even surpasses the parameter efficiency of LoRA. On the CPsyCounD and R1-Distill-SFT datasets, QWTHN, compared to classical LoRA, reduces training loss by up to 15% while using 76% fewer parameters, and achieves an 8.4% performance improvement on the CPsyCounD test set. This research not only realizes lightweight and efficient adaptation of quantum resources to billion-parameter models but also validates the practical path of quantum hardware driven by large model tasks, laying the first engineering-ready technical foundation for future quantum-enhanced AGI systems.
Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、ローランク行列近似による事前学習言語モデルの効率的な微調整を可能にし、多くのシナリオで有効である。しかし、その低ランク表現能力は複雑なタスクや高ランク依存設定で制約されており、モデル適応性を制限する可能性がある。本稿では,量子ニューラルネットワーク(QNN)を利用した量子重み付きテンソルハイブリッドネットワーク(QWTHN)に基づくパラメータ効率の高い微調整手法を提案する。本研究は,低ランク空間における量子古典的ハイブリッドパラメータ効率微調整について検討した。 QWTHNは、トレーニング済みの重みを量子ニューラルネットワークとテンソルネットワーク表現に分解し、量子状態の重ね合わせやその他の方法で古典的なランク制限を突破する。実験により,大規模モデルに対する量子微調整手法がLoRAのパラメータ効率に近づいたり,あるいは超越した結果が得られた。 CPsyCounDとR1-Distill-SFTデータセットでは、古典的なLoRAと比較してトレーニング損失を最大15%削減し、パラメータを76%削減し、CPsyCounDテストセットで8.4%のパフォーマンス改善を実現している。この研究は、数十億パラメータモデルへの量子リソースの軽量で効率的な適応を実現するだけでなく、大規模なモデルタスクによって駆動される量子ハードウェアの実践的パスを検証する。

関連論文リスト

RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文参考訳（メタデータ） (2025-02-13T06:44:33Z)
Quantum-Train-Based Distributed Multi-Agent Reinforcement Learning [5.673361333697935]
量子トレインに基づく分散マルチエージェント強化学習(Dist-QTRL) 量子トレインに基づく分散マルチエージェント強化学習(Dist-QTRL)を紹介する。
論文参考訳（メタデータ） (2024-12-12T00:51:41Z)
A Quantum Circuit-Based Compression Perspective for Parameter-Efficient Learning [19.178352290785153]
量子パラメータ生成の枠組みに量子s適応(QPA)を導入する。 QPAはQNNと古典的な多層パーセプトロンマッピングモデルを統合し、微調整のためのパラメータを生成する。 Gemma-2とGPT-2をケーススタディとして、QPAはパラメータ効率のよい微調整法に対して重要なパラメータ還元を示す。
論文参考訳（メタデータ） (2024-10-13T14:09:29Z)
Quantum-Trained Convolutional Neural Network for Deepfake Audio Detection [3.2927352068925444]
ディープフェイク技術はプライバシーセキュリティ情報整合性に課題をもたらす本稿では,ディープフェイク音声の検出を強化するために,量子学習型畳み込みニューラルネットワークフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-11T20:52:10Z)
Quantum-Train with Tensor Network Mapping Model and Distributed Circuit Ansatz [0.8192907805418583]
量子トレイン(Quantum-Train、QT)は、量子古典機械学習のハイブリッドフレームワークである。量子状態の測定を古典的なニューラルネットワークの重みにマッピングする。従来のQTフレームワークでは、このタスクにマルチレイヤパーセプトロン(MLP)を採用しているが、スケーラビリティと解釈可能性に苦慮している。複数の小さな量子処理ユニットノードを持つ大規模量子機械学習用に設計された分散回路アンサッツを提案する。
論文参考訳（メタデータ） (2024-09-11T03:51:34Z)
Towards Efficient Quantum Hybrid Diffusion Models [68.43405413443175]
本稿では,量子ハイブリッド拡散モデルの設計手法を提案する。量子コンピューティングの優れた一般化と古典的ネットワークのモジュラリティを組み合わせた2つのハイブリダイゼーション手法を提案する。
論文参考訳（メタデータ） (2024-02-25T16:57:51Z)
Bridging Classical and Quantum Machine Learning: Knowledge Transfer From Classical to Quantum Neural Networks Using Knowledge Distillation [0.0]
本稿では,古典的畳み込みニューラルネットワーク(CNN)から量子ニューラルネットワーク(QNN)へ知識を伝達するための新しい枠組みを提案する。我々は、MNIST, Fashion MNIST, CIFAR10データセット上の4および8キュービットを持つ2つのパラメタライズド量子回路(PQC)を用いて、広範な実験を行う。我々の結果は、古典的なディープラーニングと新しい量子コンピューティングをブリッジし、量子マシンインテリジェンスにおいてより強力でリソースを意識したモデルを構築するための、有望なパラダイムを確立します。
論文参考訳（メタデータ） (2023-11-23T05:06:43Z)
Decomposition of Matrix Product States into Shallow Quantum Circuits [62.5210028594015]
テンソルネットワーク(TN)アルゴリズムは、パラメタライズド量子回路(PQC)にマッピングできる本稿では,現実的な量子回路を用いてTN状態を近似する新しいプロトコルを提案する。その結果、量子回路の逐次的な成長と最適化を含む1つの特定のプロトコルが、他の全ての手法より優れていることが明らかとなった。
論文参考訳（メタデータ） (2022-09-01T17:08:41Z)
Variational Quantum Optimization with Multi-Basis Encodings [62.72309460291971]
マルチバスグラフ複雑性と非線形活性化関数の2つの革新の恩恵を受ける新しい変分量子アルゴリズムを導入する。その結果,最適化性能が向上し,有効景観が2つ向上し,測定の進歩が減少した。
論文参考訳（メタデータ） (2021-06-24T20:16:02Z)
FLIP: A flexible initializer for arbitrarily-sized parametrized quantum circuits [105.54048699217668]
任意サイズのパラメタライズド量子回路のためのFLexible Initializerを提案する。 FLIPは任意の種類のPQCに適用することができ、初期パラメータの一般的なセットに頼る代わりに、成功したパラメータの構造を学ぶように調整されている。本稿では, 3つのシナリオにおいてFLIPを用いることの利点を述べる。不毛な高原における問題ファミリ, 最大カット問題インスタンスを解くPQCトレーニング, 1次元フェルミ-ハッバードモデルの基底状態エネルギーを求めるPQCトレーニングである。
論文参考訳（メタデータ） (2021-03-15T17:38:33Z)
Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文参考訳（メタデータ） (2020-10-01T18:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。