論文の概要: How Can Quantum Deep Learning Improve Large Language Models?

• arxiv url: http://arxiv.org/abs/2509.16244v1
• Date: Wed, 17 Sep 2025 08:18:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.693521
• Title: How Can Quantum Deep Learning Improve Large Language Models?
• Title（参考訳）: 量子ディープラーニングはどのようにして大規模言語モデルを改善するのか?
• Authors: Emily Jimin Roh, Hyojun Ahn, Samuel Yen-Chi Chen, Soohyun Park, Joongheon Kim,
• Abstract要約: 完全な微調整は高い性能を達成するが、計算とメモリのコストを禁ずる。 ローランク適応(LoRA)、プリフィックスチューニング(Prefix tuning)、スパースローランク適応(SoRA)は、競争精度を維持しながらトレーニング可能なパラメータを減らすことでこの問題に対処する。 量子深層学習の最近の進歩は、量子インスパイアされた符号化とパラメータ化量子回路を通じて新しい機会をもたらす。
• 参考スコア（独自算出の注目度）: 24.83900854986565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid progress of large language models (LLMs) has transformed natural language processing, yet the challenge of efficient adaptation remains unresolved. Full fine-tuning achieves strong performance but imposes prohibitive computational and memory costs. Parameter-efficient fine-tuning (PEFT) strategies, such as low-rank adaptation (LoRA), Prefix tuning, and sparse low-rank adaptation (SoRA), address this issue by reducing trainable parameters while maintaining competitive accuracy. However, these methods often encounter limitations in scalability, stability, and generalization across diverse tasks. Recent advances in quantum deep learning introduce novel opportunities through quantum-inspired encoding and parameterized quantum circuits (PQCs). In particular, the quantum-amplitude embedded adaptation (QAA) framework demonstrates expressive model updates with minimal overhead. This paper presents a systematic survey and comparative analysis of conventional PEFT methods and QAA. The analysis demonstrates trade-offs in convergence, efficiency, and representational capacity, while providing insight into the potential of quantum approaches for future LLM adaptation.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は自然言語処理に変化をもたらしたが、効率的な適応の課題は未解決のままである。 完全な微調整は高い性能を達成するが、計算とメモリのコストを禁ずる。 低ランク適応(LoRA)、プリフィックスチューニング(Prefix tuning)、疎低ランク適応(SoRA)といったPEFT戦略は、競争精度を維持しながらトレーニング可能なパラメータを減らすことでこの問題に対処する。 しかし、これらの手法はスケーラビリティ、安定性、様々なタスクにおける一般化の限界にしばしば遭遇する。 量子深層学習の最近の進歩は、量子インスパイアされた符号化とパラメタライズド量子回路(PQC)を通じて新しい機会をもたらす。 特に量子振幅埋め込み適応(QAA)フレームワークは、最小限のオーバーヘッドで表現力のあるモデル更新を示す。 本稿では,従来のPEFT法とQAAの体系的調査と比較分析を行った。 この分析は、収束、効率、表現能力のトレードオフを示し、将来のLLM適応のための量子アプローチの可能性についての洞察を提供する。

関連論文リスト

• ZeroQAT: Your Quantization-aware Training but Efficient [53.25965863436039]
  量子化は、大規模言語モデル(LLM)のデプロイメントコストを削減する効果的な手法である。 既存の低ビットPTQ法は, 局所再構成目標と下流性能の相違による累積誤差の伝搬と誤調整が生じるため, 精度劣化に悩まされる。 我々は,ゼロオーダー最適化に基づくQATフレームワークZeroQATを提案する。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• TensoMeta-VQC: A Tensor-Train-Guided Meta-Learning Framework for Robust and Scalable Variational Quantum Computing [60.996803677584424]
  TensoMeta-VQCは、VQCの堅牢性とスケーラビリティを大幅に向上させるために設計された、TT誘導型メタラーニングフレームワークである。 我々のフレームワークは、量子回路パラメータの生成を古典的なTTネットワークに完全に委譲し、量子ハードウェアから最適化を効果的に分離する。
  論文  参考訳（メタデータ） (2025-08-01T23:37:55Z)
• Quantum-Enhanced LLM Efficient Fine Tuning [25.45732471566526]
  Low-Rank Adaptation (LoRA)は、低ランク行列近似による事前学習言語モデルの効率的な微調整を可能にする。 本稿では,量子ニューラルネットワークとテンソルネットワークを統合するパラメータ効率の高い微調整法である量子ハイブリッド適応(QTHA)を提案する。 実験により、QTHAはLoRAの非効率な微調整に匹敵する性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-03-17T03:59:26Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• QuanTA: Efficient High-Rank Fine-Tuning of LLMs with Quantum-Informed Tensor Adaptation [8.376592479884042]
  QuanTAは、大規模事前学習言語モデルのための推論オーバーヘッドのない、実装が容易で微調整の手法である。 従来の手法と比較して,QuanTAはコモンセンス推論,算術推論,拡張性を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2024-05-31T18:47:30Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits [70.97518416003358]
  変分量子回路(VQC)は、ノイズの多い中間スケール量子(NISQ)デバイス上での量子機械学習を約束する。 テンソルトレインネットワーク(TTN)はVQC表現と一般化を向上させることができるが、結果として得られるハイブリッドモデルであるTTN-VQCは、Polyak-Lojasiewicz(PL)条件による最適化の課題に直面している。 この課題を軽減するために,プレトレーニングTTNモデルとVQCを組み合わせたPre+TTN-VQCを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。