Fugu-MT 論文翻訳(概要): Robust Hybrid Classical-Quantum Transfer Learning Model for Text Classification Using GPT-Neo 125M with LoRA & SMOTE Enhancement

論文の概要: Robust Hybrid Classical-Quantum Transfer Learning Model for Text Classification Using GPT-Neo 125M with LoRA & SMOTE Enhancement

arxiv url: http://arxiv.org/abs/2501.10435v2
Date: Wed, 22 Jan 2025 04:10:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-23 16:52:23.096681
Title: Robust Hybrid Classical-Quantum Transfer Learning Model for Text Classification Using GPT-Neo 125M with LoRA & SMOTE Enhancement
Title（参考訳）: LoRAとSMOTEの強化によるGPT-Neo125Mを用いたテキスト分類のためのロバストハイブリッド古典量子変換学習モデル
Authors: Santanam Wishal,
Abstract要約: 本研究は,テキスト分類のための古典量子ハイブリッドフレームワークを提案する。 GPT-Neo 125MとLoRA(Lo-Rank Adaptation)とSMOTE(Synthetic Minority Over-Sampling Technique)を統合する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: This research introduces a hybrid classical-quantum framework for text classification, integrating GPT-Neo 125M with Low-Rank Adaptation (LoRA) and Synthetic Minority Over-sampling Technique (SMOTE) using quantum computing backends. While the GPT-Neo 125M baseline remains the best-performing model, the implementation of LoRA and SMOTE enhances the hybrid model, resulting in improved accuracy, faster convergence, and better generalization. Experiments on IBM's 127-qubit quantum backend and Pennylane's 32-qubit simulation demonstrate the viability of combining classical neural networks with quantum circuits. This framework underscores the potential of hybrid architectures for advancing natural language processing applications.
Abstract（参考訳）: 本研究では,GPT-Neo 125MとLoRA(Lo-Rank Adaptation)とSMOTE(Synthetic Minority Over-Sampling Technique)を統合し,テキスト分類のための古典量子ハイブリッドフレームワークを提案する。 GPT-Neo 125Mベースラインは依然として最高のパフォーマンスモデルであるが、LoRAとSMOTEの実装によりハイブリッドモデルが強化され、精度が向上し、収束が早くなり、一般化が向上した。 IBMの127量子ビットの量子バックエンドとペニーレーンの32量子ビットシミュレーションの実験は、古典的ニューラルネットワークと量子回路を組み合わせる可能性を示している。このフレームワークは、自然言語処理アプリケーションを前進させるためのハイブリッドアーキテクチャの可能性を強調している。

関連論文リスト

Quantum Kernel-Based Long Short-term Memory [0.30723404270319693]
本稿では,Quantum Kernel-Based Long Short-Term Memory (QK-LSTM) ネットワークを導入する。この量子化アーキテクチャは、効率的な収束、ロバストな損失最小化、モデルコンパクト性を示す。ベンチマークの結果,QK-LSTMは従来のLSTMモデルと同等の性能を示すが,パラメータは少ない。
論文参考訳（メタデータ） (2024-11-20T11:39:30Z)
Quantum-Train with Tensor Network Mapping Model and Distributed Circuit Ansatz [0.8192907805418583]
量子トレイン(Quantum-Train、QT)は、量子古典機械学習のハイブリッドフレームワークである。量子状態の測定を古典的なニューラルネットワークの重みにマッピングする。従来のQTフレームワークでは、このタスクにマルチレイヤパーセプトロン(MLP)を採用しているが、スケーラビリティと解釈可能性に苦慮している。複数の小さな量子処理ユニットノードを持つ大規模量子機械学習用に設計された分散回路アンサッツを提案する。
論文参考訳（メタデータ） (2024-09-11T03:51:34Z)
Hybrid Tree Tensor Networks for quantum simulation [0.0]
ハイブリッドツリーネットワーク(hTTN)を用いた基底状態最適化のための新しいアルゴリズムを提案する。我々は、hTTNsが古典的部分における等しい結合次元を持つ古典的等価性を改善することができることを示した。
論文参考訳（メタデータ） (2024-04-08T18:00:00Z)
Towards Efficient Quantum Hybrid Diffusion Models [68.43405413443175]
本稿では,量子ハイブリッド拡散モデルの設計手法を提案する。量子コンピューティングの優れた一般化と古典的ネットワークのモジュラリティを組み合わせた2つのハイブリダイゼーション手法を提案する。
論文参考訳（メタデータ） (2024-02-25T16:57:51Z)
Bridging Classical and Quantum Machine Learning: Knowledge Transfer From Classical to Quantum Neural Networks Using Knowledge Distillation [0.0]
本稿では,知識蒸留を用いた古典的ニューラルネットワークから量子ニューラルネットワークへ知識を伝達する新しい手法を提案する。我々は、LeNetやAlexNetのような古典的畳み込みニューラルネットワーク(CNN)アーキテクチャを教師ネットワークとして活用する。量子モデルは、MNISTデータセットで0.80%、より複雑なFashion MNISTデータセットで5.40%の平均精度改善を達成する。
論文参考訳（メタデータ） (2023-11-23T05:06:43Z)
Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
論文参考訳（メタデータ） (2023-06-19T23:10:02Z)
A Framework for Demonstrating Practical Quantum Advantage: Racing Quantum against Classical Generative Models [62.997667081978825]
生成モデルの一般化性能を評価するためのフレームワークを構築した。古典的および量子生成モデル間の実用的量子優位性(PQA)に対する最初の比較レースを確立する。以上の結果から,QCBMは,他の最先端の古典的生成モデルよりも,データ制限方式の方が効率的であることが示唆された。
論文参考訳（メタデータ） (2023-03-27T22:48:28Z)
When BERT Meets Quantum Temporal Convolution Learning for Text Classification in Heterogeneous Computing [75.75419308975746]
本研究は,変分量子回路に基づく垂直連合学習アーキテクチャを提案し,テキスト分類のための量子化事前学習BERTモデルの競争性能を実証する。目的分類実験により,提案したBERT-QTCモデルにより,SnipsおよびATIS音声言語データセットの競合実験結果が得られた。
論文参考訳（メタデータ） (2022-02-17T09:55:21Z)
Conformer-based Hybrid ASR System for Switchboard Dataset [99.88988282353206]
本稿では,競争力のあるコンバータベースハイブリッドモデルトレーニングレシピを提示し,評価する。本研究は,単語誤り率の向上と学習速度向上のための異なる訓練側面と手法について検討する。我々はSwitchboard 300hデータセットで実験を行い、コンバータベースのハイブリッドモデルは競争力のある結果を得る。
論文参考訳（メタデータ） (2021-11-05T12:03:18Z)
Error mitigation and quantum-assisted simulation in the error corrected regime [77.34726150561087]
量子コンピューティングの標準的なアプローチは、古典的にシミュレート可能なフォールトトレラントな演算セットを促進するという考え方に基づいている。量子回路の古典的準確率シミュレーションをどのように促進するかを示す。
論文参考訳（メタデータ） (2021-03-12T20:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。