論文の概要: Quantum Large Language Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2504.08732v1
• Date: Fri, 11 Apr 2025 17:57:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:17:55.460827
• Title: Quantum Large Language Model Fine-Tuning
• Title（参考訳）: 量子大言語モデルファインチューニング
• Authors: Sang Hyub Kim, Jonathan Mei, Claudio Girotto, Masako Yamada, Martin Roetteler,
• Abstract要約: 大規模言語モデルファインチューニングのためのハイブリッド量子古典的ディープラーニングアーキテクチャを提案する。 アーキテクチャの古典的な部分は文変換器であり、感情予測のような複雑なタスクに対してかなりの精度を示すのに十分強力である。 比較対象の古典的ベースラインよりも予測精度が向上し,キュービット数の増加とともに精度が向上する傾向が見られた。
• 参考スコア（独自算出の注目度）: 1.118478900782898
• License:
• Abstract: We introduce a hybrid quantum-classical deep learning architecture for large language model fine-tuning. The classical portion of the architecture is a sentence transformer that is powerful enough to display significant accuracy for complex tasks such as sentiment prediction. The quantum portion of the architecture consists of parameterized quantum circuits that utilize long-range connections between qubits. We analyze the performance of the hybrid models for various settings of hyperparameters, including the number of qubits, the depth of the quantum circuits, learning rate, number of re-uploading steps, etc. Based on a screening study of main effects, we show an overall improvement in prediction accuracy over a comparable classical baseline, with a trend of increasing accuracy with number of qubits. We observe up to $3.14\%$ improvements in accuracy over classical architectures of comparable model size, within the set of hyperparameters probed in this study. We demonstrate the contribution of each module in our architecture through ablation studies. Our studies are based on finite shot-counts and include simulations based on noisy quantum gates.
• Abstract（参考訳）: 大規模言語モデルファインチューニングのためのハイブリッド量子古典的ディープラーニングアーキテクチャを提案する。 アーキテクチャの古典的な部分は文変換器であり、感情予測のような複雑なタスクに対してかなりの精度を示すのに十分強力である。 アーキテクチャの量子部分は、量子ビット間の長距離接続を利用するパラメータ化量子回路で構成されている。 本稿では,量子ビット数,量子回路の深さ,学習速度,再ロードステップ数など,ハイパーパラメータの様々な設定におけるハイブリッドモデルの性能を解析する。 本研究は,主効果のスクリーニング研究に基づいて,古典的ベースラインに対する予測精度の全体的な向上と,量子ビット数による精度向上傾向を示す。 我々は、この研究で調査されたハイパーパラメーターの集合の中で、モデルサイズに匹敵する古典的アーキテクチャよりも最大で3.14 %の精度の向上を観察する。 アーキテクチャにおける各モジュールの貢献をアブレーション研究を通じて実証する。 我々の研究は有限ショットカウントに基づいており、ノイズの多い量子ゲートに基づくシミュレーションを含む。

関連論文リスト

• Near-Term Spin-Qubit Architecture Design via Multipartite Maximally-Entangled States [1.589509357008938]
  回路レベルの忠実度測定とともに、真の多部量子絡み合いの質を確認する4つの指標を導入する。 我々は,スピンキュービットデバイスの期待するハードウェア特性と適切なコンパイル手法を組み合わせたシミュレーションを考案した。 疎結合なスピン量子格子は、我々の測定値と最も高接続のデバイスアーキテクチャの値に匹敵する値に近づくことができる。
  論文  参考訳（メタデータ） (2024-12-17T12:55:40Z)
• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
  d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか? 我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。 我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• Quantum Vision Transformers for Quark-Gluon Classification [3.350407101925898]
  本稿では,変分量子回路を統合したハイブリッド型量子古典視覚変換器アーキテクチャを提案する。 CMS Open Dataのマルチ検出器ジェット画像にモデルを適用し,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-05-16T17:45:54Z)
• Disentangling Quantum and Classical Contributions in Hybrid Quantum Machine Learning Architectures [4.646930308096446]
  ハイブリッドトランスファー学習ソリューションが開発され、訓練済みの古典モデルと量子回路を融合した。 それぞれのコンポーネント(古典的、量子的)がモデルの結果にどの程度貢献するかは、まだ不明である。 本稿では,プレトレーニングされたネットワークを圧縮に利用する代わりに,オートエンコーダを用いて,圧縮したデータから圧縮したデータを導出するハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-09T18:13:50Z)
• Majorization-based benchmark of the complexity of quantum processors [105.54048699217668]
  我々は、様々な量子プロセッサの動作を数値的にシミュレートし、特徴付ける。 我々は,各デバイスの性能をベンチマークラインと比較することにより,量子複雑性を同定し,評価する。 我々は、回路の出力状態が平均して高い純度である限り、偏化ベースのベンチマークが成り立つことを発見した。
  論文  参考訳（メタデータ） (2023-04-10T23:01:10Z)
• A Framework for Demonstrating Practical Quantum Advantage: Racing Quantum against Classical Generative Models [62.997667081978825]
  生成モデルの一般化性能を評価するためのフレームワークを構築した。 古典的および量子生成モデル間の実用的量子優位性(PQA)に対する最初の比較レースを確立する。 以上の結果から,QCBMは,他の最先端の古典的生成モデルよりも,データ制限方式の方が効率的であることが示唆された。
  論文  参考訳（メタデータ） (2023-03-27T22:48:28Z)
• A performance characterization of quantum generative models [35.974070202997176]
  量子生成モデリングに使用される量子回路を比較する。 2つの一般的なトレーニング手法を用いてデータセットの確率分布を学習する。 確率分布のコプラを学習する離散アーキテクチャの変種が、他のすべての手法より優れていることを実証的に見出した。
  論文  参考訳（メタデータ） (2023-01-23T11:00:29Z)
• The Quantum Path Kernel: a Generalized Quantum Neural Tangent Kernel for Deep Quantum Machine Learning [52.77024349608834]
  古典的なディープニューラルネットワークの量子アナログを構築することは、量子コンピューティングにおける根本的な課題である。 鍵となる問題は、古典的なディープラーニングの本質的な非線形性にどのように対処するかである。 我々は、深層機械学習のこれらの側面を複製できる量子機械学習の定式化であるQuantum Path Kernelを紹介する。
  論文  参考訳（メタデータ） (2022-12-22T16:06:24Z)
• Copula-based Risk Aggregation with Trapped Ion Quantum Computers [1.541403735141431]
  コプラは、合同確率分布をモデル化するための数学的ツールである。 コプラを最大絡み合った量子状態として表現できることの最近の発見は、実用的な量子優位性に対する有望なアプローチを明らかにしている。 シミュレータと最先端のイオン量子コンピュータ上での回路設計と精度の異なるQCBMのトレーニングについて検討する。
  論文  参考訳（メタデータ） (2022-06-23T18:39:30Z)
• When BERT Meets Quantum Temporal Convolution Learning for Text Classification in Heterogeneous Computing [75.75419308975746]
  本研究は,変分量子回路に基づく垂直連合学習アーキテクチャを提案し,テキスト分類のための量子化事前学習BERTモデルの競争性能を実証する。 目的分類実験により,提案したBERT-QTCモデルにより,SnipsおよびATIS音声言語データセットの競合実験結果が得られた。
  論文  参考訳（メタデータ） (2022-02-17T09:55:21Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。