Fugu-MT 論文翻訳(概要): A Quantum Circuit-Based Compression Perspective for Parameter-Efficient Learning

論文の概要: A Quantum Circuit-Based Compression Perspective for Parameter-Efficient Learning

arxiv url: http://arxiv.org/abs/2410.09846v1
Date: Sun, 13 Oct 2024 14:09:29 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 04:32:54.107411
Title: A Quantum Circuit-Based Compression Perspective for Parameter-Efficient Learning
Title（参考訳）: パラメータ効率学習のための量子回路に基づく圧縮視点
Authors: Chen-Yu Liu, Chao-Han Huck Yang, Min-Hsiu Hsieh, Hsi-Sheng Goan,
Abstract要約: 量子パラメータ生成の枠組みに量子s適応(QPA)を導入する。 QPAはQNNと古典的な多層パーセプトロンマッピングモデルを統合し、微調整のためのパラメータを生成する。 Gemma-2とGPT-2をケーススタディとして、QPAはパラメータ効率のよい微調整法に対して重要なパラメータ還元を示す。
参考スコア（独自算出の注目度）: 19.178352290785153
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Quantum-centric supercomputing presents a compelling framework for large-scale hybrid quantum-classical tasks. Although quantum machine learning (QML) offers theoretical benefits in various applications, challenges such as large-size data encoding in the input stage and the reliance on quantum resources in the inference stage limit its practicality for tasks like fine-tuning large language models (LLMs). Quantum parameter generation, a novel approach of QML, addresses these limitations by using quantum neural networks (QNNs) to generate classical model weights (parameters) exclusively during training, thereby decoupling inference from quantum hardware. In this work, we introduce Quantum Parameter Adaptation (QPA) in the framework of quantum parameter generation, which integrates QNNs with a classical multi-layer perceptron mapping model to generate parameters for fine-tuning methods. Using Gemma-2 and GPT-2 as case studies, QPA demonstrates significant parameter reduction for parameter-efficient fine-tuning methods, such as Low-Rank Adaptation (LoRA), while maintaining comparable or improved performance in text generation tasks. Specifically, QPA reduces the number of parameters to $52.06\%$ of the original LoRA for GPT-2 with a slight performance gain of $0.75\%$, and to $16.84\%$ for Gemma-2, with a marginal performance improvement of $0.07\%$. These results highlight QPA's ability to achieve efficient parameter reduction without sacrificing performance in the quantum parameter generation framework. This work showcases the potential of quantum-enhanced parameter reduction, offering a scalable quantum-classical solution for fine-tuning LLMs while preserving the feasibility of inference on classical hardware.
Abstract（参考訳）: 量子中心型スーパーコンピューティングは、大規模ハイブリッド量子古典的タスクのための魅力的なフレームワークを提供する。量子機械学習(QML)は様々なアプリケーションに理論的利点をもたらすが、入力段階での大規模データ符号化や推論段階での量子リソースへの依存といった課題は、大規模言語モデル(LLM)の微調整のようなタスクに対する実用性を制限する。 QMLの新しいアプローチである量子パラメータ生成は、量子ニューラルネットワーク(QNN)を使用してトレーニング中にのみ古典的なモデルウェイト(パラメータ)を生成し、量子ハードウェアからの推論を分離することで、これらの制限に対処する。本研究では,量子パラメータ生成のフレームワークに量子パラメータ適応(QPA)を導入し,QNNと古典的多層パーセプトロンマッピングモデルを統合し,微調整手法のパラメータを生成する。 Gemma-2 と GPT-2 をケーススタディとして、QPA は低ランク適応 (LoRA) のようなパラメータ効率の高い微調整手法に対して、テキスト生成タスクにおいて同等あるいは改善された性能を維持しながら、重要なパラメータ削減を示す。具体的には、QPA はパラメータの数を GPT-2 のオリジナルの LoRA の 52.06\%$ に減らし、パフォーマンスは 0.75\%$ 、Gemma-2 の 16.84\%$ に減らした。これらの結果から,量子パラメータ生成フレームワークの性能を犠牲にすることなく,効率的なパラメータ削減を実現するQPAの能力を強調した。この研究は、古典的ハードウェアにおける推論の実現可能性を維持しながら、微調整 LLM のためのスケーラブルな量子古典解を提供する量子拡張パラメータ還元の可能性を示す。

関連論文リスト

Quantum Deep Equilibrium Models [1.5853439776721878]
本稿では,量子機械学習モデルのパラメータを学習するトレーニングパラダイムであるQuantum Deep Equilibrium Models (QDEQ)を紹介する。 QDEQは、既存の同等のベースラインモデルと競合するだけでなく、5倍以上のレイヤを持つネットワークよりも高いパフォーマンスを実現している。このことは、QDEQパラダイムが与えられたタスクに対してより浅い量子回路を開発するのに利用できることを示している。
論文参考訳（メタデータ） (2024-10-31T13:54:37Z)
ML-QLS: Multilevel Quantum Layout Synthesis [6.706813469929441]
ML-QLSは、新しいコスト関数とクラスタリング戦略を統合したスケーラブルな改善操作を備えた、最初のマルチレベル量子レイアウトツールである。実験の結果,ML-QLSは数百の量子ビットを含む問題にスケールアップでき,大規模回路用QLSツールよりも優れた52%の性能向上を達成できることがわかった。
論文参考訳（メタデータ） (2024-05-28T17:10:20Z)
A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
論文参考訳（メタデータ） (2024-02-23T14:09:41Z)
QuantumSEA: In-Time Sparse Exploration for Noise Adaptive Quantum Circuits [82.50620782471485]
QuantumSEAはノイズ適応型量子回路のインタイムスパース探索である。 1)トレーニング中の暗黙の回路容量と(2)雑音の頑健さの2つの主要な目標を達成することを目的としている。提案手法は, 量子ゲート数の半減と回路実行の2倍の時間節約で, 最先端の計算結果を確立する。
論文参考訳（メタデータ） (2024-01-10T22:33:00Z)
Pre-optimizing variational quantum eigensolvers with tensor networks [1.4512477254432858]
VQEをシミュレートすることで、パラメータ化量子回路のよい開始パラメータを求める手法を提示し、ベンチマークする。最大32キュービットのシステムサイズを持つ1Dと2DのFermi-Hubbardモデルに適用する。 2Dでは、VTNEが検出するパラメータは開始構成よりもはるかに低いエネルギーであり、これらのパラメータから開始するVQEは、与えられたエネルギーに降り着くためには、自明に少ない演算を必要とすることを示す。
論文参考訳（メタデータ） (2023-10-19T17:57:58Z)
OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
論文参考訳（メタデータ） (2023-08-25T02:28:35Z)
Restricting to the chip architecture maintains the quantum neural network accuracy [0.0]
変分量子アルゴリズム(VQA)は、量子機械学習モデルを構築するための重要な戦略である。本稿では、最適ゲート列の決定、効率的なパラメータ最適化戦略、量子チップアーキテクチャが最終的な結果に与える影響の理解など、いくつかの重要な問題に対処することを目的とする。
論文参考訳（メタデータ） (2022-12-29T18:57:05Z)
Symmetric Pruning in Quantum Neural Networks [111.438286016951]
量子ニューラルネットワーク(QNN)は、現代の量子マシンの力を発揮する。ハンドクラフト対称アンサーゼを持つQNNは、一般に非対称アンサーゼを持つものよりも訓練性が高い。本稿では,QNNのグローバル最適収束を定量化するために,実効量子ニューラルネットワークカーネル(EQNTK)を提案する。
論文参考訳（メタデータ） (2022-08-30T08:17:55Z)
Variational Quantum Reinforcement Learning via Evolutionary Optimization [0.0]
グラデーションフリーな進化最適化を用いた深部量子RLタスクの2つのフレームワークを提案する。本稿では,量子RLエージェントにTN-VQCアーキテクチャを組み込んだハイブリッドフレームワークを提案する。これにより、147次元の入力でMiniGrid環境で量子RLを実行することができる。
論文参考訳（メタデータ） (2021-09-01T16:36:04Z)
FLIP: A flexible initializer for arbitrarily-sized parametrized quantum circuits [105.54048699217668]
任意サイズのパラメタライズド量子回路のためのFLexible Initializerを提案する。 FLIPは任意の種類のPQCに適用することができ、初期パラメータの一般的なセットに頼る代わりに、成功したパラメータの構造を学ぶように調整されている。本稿では, 3つのシナリオにおいてFLIPを用いることの利点を述べる。不毛な高原における問題ファミリ, 最大カット問題インスタンスを解くPQCトレーニング, 1次元フェルミ-ハッバードモデルの基底状態エネルギーを求めるPQCトレーニングである。
論文参考訳（メタデータ） (2021-03-15T17:38:33Z)
Quantum circuit architecture search for variational quantum algorithms [88.71725630554758]
本稿では、QAS(Quantum Architecture Search)と呼ばれるリソースと実行時の効率的なスキームを提案する。 QASは、よりノイズの多い量子ゲートを追加することで得られる利点と副作用のバランスをとるために、自動的にほぼ最適アンサッツを求める。数値シミュレータと実量子ハードウェアの両方に、IBMクラウドを介してQASを実装し、データ分類と量子化学タスクを実現する。
論文参考訳（メタデータ） (2020-10-20T12:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。