論文の概要: QFFN-BERT: An Empirical Study of Depth, Performance, and Data Efficiency in Hybrid Quantum-Classical Transformers

• arxiv url: http://arxiv.org/abs/2507.02364v1
• Date: Thu, 03 Jul 2025 06:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:15.77954
• Title: QFFN-BERT: An Empirical Study of Depth, Performance, and Data Efficiency in Hybrid Quantum-Classical Transformers
• Title（参考訳）: QFFN-BERT:ハイブリッド量子古典変換器の深さ・性能・データ効率に関する実証的研究
• Authors: Pilsung Kang,
• Abstract要約: 量子回路(PQC)は、ニューラルアーキテクチャの表現可能性を高めるための有望なコンポーネントとして登場した。 本稿では、小型BERTのフィードフォワードネットワーク(FFN)モジュールをPQCベースの層に置き換えるハイブリッド量子古典変換器であるQFFN-BERTを紹介する。
• 参考スコア（独自算出の注目度）: 4.309517184057254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameterized quantum circuits (PQCs) have recently emerged as promising components for enhancing the expressibility of neural architectures. In this work, we introduce QFFN-BERT, a hybrid quantum-classical transformer where the feedforward network (FFN) modules of a compact BERT variant are replaced by PQC-based layers. This design is motivated by the dominant parameter contribution of FFNs, which account for approximately two-thirds of the parameters within standard Transformer encoder blocks. While prior studies have primarily integrated PQCs into self-attention modules, our work focuses on the FFN and systematically investigates the trade-offs between PQC depth, expressibility, and trainability. Our final PQC architecture incorporates a residual connection, both $R_Y$ and $R_Z$ rotations, and an alternating entanglement strategy to ensure stable training and high expressibility. Our experiments, conducted on a classical simulator, on the SST-2 and DBpedia benchmarks demonstrate two key findings. First, a carefully configured QFFN-BERT achieves up to 102.0% of the baseline accuracy, surpassing its classical counterpart in a full-data setting while reducing FFN-specific parameters by over 99%. Second, our model exhibits a consistent and competitive edge in few-shot learning scenarios, confirming its potential for superior data efficiency. These results, supported by an ablation study on a non-optimized PQC that failed to learn, confirm that PQCs can serve as powerful and parameter-efficient alternatives to classical FFNs when co-designed with foundational deep learning principles.
• Abstract（参考訳）: パラメータ化量子回路(PQC)は近年,ニューラルアーキテクチャの表現可能性を高めるための有望なコンポーネントとして出現している。 本稿では、小型BERTのフィードフォワードネットワーク(FFN)モジュールをPQCベースの層に置き換えるハイブリッド量子古典変換器であるQFFN-BERTを紹介する。 この設計は、標準トランスフォーマーエンコーダブロック内のパラメータの約3分の2を占めるFFNの主パラメータ寄与によって動機付けられている。 従来研究は主にPQCを自己注意モジュールに統合してきたが、我々の研究はFFNに焦点を当て、PQCの深さ、表現性、訓練性の間のトレードオフを体系的に調査した。 我々の最後のPQCアーキテクチャは、R_Y$とR_Z$回転の両方の残差接続と、安定したトレーニングと高い表現性を確保するための交互絡み戦略を組み込んでいる。 SST-2 と DBpedia のベンチマークを用いて,古典シミュレータを用いて実験を行ったところ,2つの重要な結果が得られた。 まず、慎重に設定されたQFFN-BERTは、ベースライン精度の最大102.0%を達成し、FFN固有のパラメータを99%以上削減しながら、その古典的な精度をフルデータ設定で上回った。 第二に、私たちのモデルは、数ショットの学習シナリオにおいて一貫した、競争力のあるエッジを示し、優れたデータ効率の可能性を確認します。 これらの結果は、学習に失敗した最適化されていないPQCのアブレーション研究によって裏付けられ、PQCが基礎的なディープラーニング原則と共同設計する際に、古典的なFFNの強力なパラメータ効率の代替として機能することを確認する。

関連論文リスト

• HQCC: A Hybrid Quantum-Classical Classifier with Adaptive Structure [7.836610894905161]
  量子機械学習(QML)を進化させるハイブリッド量子古典(HQCC)を提案する。 HQCCはLong ShortTerm Memory (LSTM)駆動の動的回路生成器を通じて量子回路(PQC)を適応的に最適化する。 我々はMNISTとFashion MNISTのデータセットでシミュレーションを行い、97.12%の精度を達成した。
  論文  参考訳（メタデータ） (2025-04-02T22:49:00Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SF-DQN: Provable Knowledge Transfer using Successor Feature for Deep Reinforcement Learning [89.04776523010409]
  本稿では、複数のRL問題が異なる報酬関数を持つが、基礎となる遷移力学を共有する転写強化学習(RL)問題を考察する。 この設定では、各RL問題(タスク)のQ-関数を後継特徴(SF)と報酬マッピングに分解することができる。 GPIを用いたSF-DQNの証明可能な一般化保証を用いた最初の収束解析を確立する。
  論文  参考訳（メタデータ） (2024-05-24T20:30:14Z)
• Real-Time Adaptive Safety-Critical Control with Gaussian Processes in High-Order Uncertain Models [14.790031018404942]
  本稿では,不確実なパラメータを持つシステムを対象とした適応型オンライン学習フレームワークを提案する。 まず,差分スパースGPアルゴリズムを改良するために,まず忘れ係数を積分する。 第2フェーズでは,高次制御バリア関数に基づく安全フィルタを提案する。
  論文  参考訳（メタデータ） (2024-02-29T08:25:32Z)
• Federated Quantum Long Short-term Memory (FedQLSTM) [58.50321380769256]
  量子フェデレーション学習(QFL)は、量子機械学習(QML)モデルを使用して、複数のクライアント間の協調学習を容易にする。 関数の近似に時間的データを利用するQFLフレームワークの開発に前向きな作業は行われていない。 量子長短期メモリ(QLSTM)モデルと時間データを統合する新しいQFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-21T21:40:47Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• When BERT Meets Quantum Temporal Convolution Learning for Text Classification in Heterogeneous Computing [75.75419308975746]
  本研究は,変分量子回路に基づく垂直連合学習アーキテクチャを提案し,テキスト分類のための量子化事前学習BERTモデルの競争性能を実証する。 目的分類実験により,提案したBERT-QTCモデルにより,SnipsおよびATIS音声言語データセットの競合実験結果が得られた。
  論文  参考訳（メタデータ） (2022-02-17T09:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。