論文の概要: Toward Quantum Machine Translation of Syntactically Distinct Languages
- arxiv url: http://arxiv.org/abs/2307.16576v1
- Date: Mon, 31 Jul 2023 11:24:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 14:51:34.025811
- Title: Toward Quantum Machine Translation of Syntactically Distinct Languages
- Title(参考訳): シンタクティックな固有言語の量子機械翻訳に向けて
- Authors: Mina Abbaszade, Mariam Zomorodi, Vahid Salari, Philip Kurian
- Abstract要約: ノイズの多い中間規模量子(NISQ)デバイス上での量子自然言語処理アルゴリズムを用いた言語翻訳の実現可能性について検討する。
パラメタライズド量子回路の性能において、回転ゲートの適切な角度が重要な役割を果たすことを示すためにシャノンエントロピーを用いる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The present study aims to explore the feasibility of language translation
using quantum natural language processing algorithms on noisy
intermediate-scale quantum (NISQ) devices. Classical methods in natural
language processing (NLP) struggle with handling large-scale computations
required for complex language tasks, but quantum NLP on NISQ devices holds
promise in harnessing quantum parallelism and entanglement to efficiently
process and analyze vast amounts of linguistic data, potentially
revolutionizing NLP applications. Our research endeavors to pave the way for
quantum neural machine translation, which could potentially offer advantages
over classical methods in the future. We employ Shannon entropy to demonstrate
the significant role of some appropriate angles of rotation gates in the
performance of parametrized quantum circuits. In particular, we utilize these
angles (parameters) as a means of communication between quantum circuits of
different languages. To achieve our objective, we adopt the encoder-decoder
model of classical neural networks and implement the translation task using
long short-term memory (LSTM). Our experiments involved 160 samples comprising
English sentences and their Persian translations. We trained the models with
different optimisers implementing stochastic gradient descent (SGD) as primary
and subsequently incorporating two additional optimizers in conjunction with
SGD. Notably, we achieved optimal results-with mean absolute error of 0.03,
mean squared error of 0.002, and 0.016 loss-by training the best model,
consisting of two LSTM layers and using the Adam optimiser. Our small dataset,
though consisting of simple synonymous sentences with word-to-word mappings,
points to the utility of Shannon entropy as a figure of merit in more complex
machine translation models for intricate sentence structures.
- Abstract(参考訳): 本研究では,ノイズ中規模量子(nisq)デバイス上での量子自然言語処理アルゴリズムを用いた言語翻訳の実現可能性について検討する。
自然言語処理(NLP)における古典的な手法は、複雑な言語タスクに必要な大規模計算を扱うのに苦労するが、NISQデバイス上の量子NLPは、大量の言語データを効率的に処理し分析するために量子並列性と絡み合いを利用するという約束を持ち、NLPアプリケーションに革命をもたらす可能性がある。
私たちの研究は、量子ニューラルマシン翻訳の道を開いたいと考えており、将来的には古典的な手法よりも有利になる可能性がある。
我々は、シャノンエントロピーを用いて、パラメトリズド量子回路の性能における回転ゲートの適切な角度の役割を示す。
特に、異なる言語の量子回路間の通信手段として、これらの角度(パラメータ)を利用する。
そこで我々は,従来のニューラルネットワークのエンコーダ・デコーダモデルを採用し,長寿命メモリ(LSTM)を用いた翻訳タスクを実装した。
実験は英語文とペルシャ訳文からなるサンプル160点を対象に行った。
確率勾配降下 (sgd) を一次として, 異なるオプティマイザを用いたモデルを訓練し, sgdを併用した2つの最適化器を組み込んだ。
特に,平均絶対誤差0.03,平均二乗誤差0.002,損失損失0.016の2つのLSTM層とAdamオプティマイザを用いた最適モデルによる最適結果を得た。
我々の小さなデータセットは、単純な同義語文と単語間マッピングからなるが、複雑な文構造のためのより複雑な機械翻訳モデルにおいて、シャノンエントロピーが有用であることを示している。
関連論文リスト
- Unifying (Quantum) Statistical and Parametrized (Quantum) Algorithms [65.268245109828]
我々はカーンズのSQオラクルとヴァリアントの弱い評価オラクルからインスピレーションを得ます。
評価クエリから学習するための非条件の下限を出力する,広範かつ直感的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-26T18:23:21Z) - OmniQuant: Omnidirectionally Calibrated Quantization for Large Language
Models [59.176603429408225]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。
最近のPTQ法はメモリフットプリントの削減に有効であるが、極端に低ビットの量子化に対処できない。
多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
論文 参考訳(メタデータ) (2023-08-25T02:28:35Z) - Optimizing Quantum Federated Learning Based on Federated Quantum Natural
Gradient Descent [17.05322956052278]
本稿では、FQNGD(Federated Quantum Natural descent)という効率的な最適化アルゴリズムを提案する。
アダムやアダグラードのような勾配降下法と比較して、FQNGDアルゴリズムは収束するQFLのトレーニングをはるかに少なくする。
手書き桁分類データセットの実験は、QFLフレームワークにおけるFQNGDの有効性を正当化するものである。
論文 参考訳(メタデータ) (2023-02-27T11:34:16Z) - Decomposition of Matrix Product States into Shallow Quantum Circuits [62.5210028594015]
テンソルネットワーク(TN)アルゴリズムは、パラメタライズド量子回路(PQC)にマッピングできる
本稿では,現実的な量子回路を用いてTN状態を近似する新しいプロトコルを提案する。
その結果、量子回路の逐次的な成長と最適化を含む1つの特定のプロトコルが、他の全ての手法より優れていることが明らかとなった。
論文 参考訳(メタデータ) (2022-09-01T17:08:41Z) - Quantum Self-Attention Neural Networks for Text Classification [8.975913540662441]
量子自己アテンションニューラルネットワーク(QSANN)と呼ばれる,新しいシンプルなネットワークアーキテクチャを提案する。
本稿では,量子ニューラルネットワークに自己アテンション機構を導入し,ガウス射影量子自己アテンションを自己アテンションの有感な量子バージョンとして活用する。
提案手法は低レベル量子雑音に対するロバスト性を示し,量子ニューラルネットワークアーキテクチャに対するレジリエンスを示す。
論文 参考訳(メタデータ) (2022-05-11T16:50:46Z) - When BERT Meets Quantum Temporal Convolution Learning for Text
Classification in Heterogeneous Computing [75.75419308975746]
本研究は,変分量子回路に基づく垂直連合学習アーキテクチャを提案し,テキスト分類のための量子化事前学習BERTモデルの競争性能を実証する。
目的分類実験により,提案したBERT-QTCモデルにより,SnipsおよびATIS音声言語データセットの競合実験結果が得られた。
論文 参考訳(メタデータ) (2022-02-17T09:55:21Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳(メタデータ) (2021-11-29T12:24:02Z) - SML: a new Semantic Embedding Alignment Transformer for efficient
cross-lingual Natural Language Inference [71.57324258813674]
トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。
nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。
本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
論文 参考訳(メタデータ) (2021-03-17T13:23:53Z) - QNLP in Practice: Running Compositional Models of Meaning on a Quantum
Computer [0.7194733565949804]
本研究では,NISQ(Noisy Intermediate-Scale Quantum)コンピュータ上で行った最初のNLP実験について報告する。
我々は、量子回路への自然なマッピングを持つ文の表現を作成する。
我々は、量子ハードウェア上で単純な文分類タスクを解くNLPモデルをうまく訓練する。
論文 参考訳(メタデータ) (2021-02-25T13:37:33Z) - Grammar-Aware Question-Answering on Quantum Computers [0.17205106391379021]
ノイズの多い中間スケール量子(NISQ)ハードウェア上でNLPタスクの最初の実装を行う。
我々は量子状態においてワード平均を符号化し、文法構造を明示的に考慮する。
我々の新しいQNLPモデルは、量子ハードウェアの品質が向上するにつれて、スケーラビリティの具体的な約束を示す。
論文 参考訳(メタデータ) (2020-12-07T14:49:34Z) - A hybrid classical-quantum workflow for natural language processing [0.0]
自然言語処理タスクの実行に量子コンピューティングモデルを用いることを実証する。
コーパスの意味を表現し、与えられた構造の文間の比較を行う。
本研究では,大規模コーパスデータセットを符号化,処理,復号化するためのハイブリッドワークフローを開発する。
論文 参考訳(メタデータ) (2020-04-12T12:19:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。