論文の概要: Learning Complex Word Embeddings in Classical and Quantum Spaces
- arxiv url: http://arxiv.org/abs/2412.13745v1
- Date: Wed, 18 Dec 2024 11:26:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 13:24:46.131701
- Title: Learning Complex Word Embeddings in Classical and Quantum Spaces
- Title(参考訳): 古典空間と量子空間における複合語埋め込みの学習
- Authors: Carys Harvey, Stephen Clark, Douglas Brown, Konstantinos Meichanetzidis,
- Abstract要約: 我々は、高度に最適化されたC言語バージョンのSkip-gramを複雑に評価したバージョンを開発した。
我々は3.8Bワードコーパスで訓練された複雑な埋め込みを400k以上の語彙サイズで生成する。
我々は,一連の標準類似性および関連性データセットに対する複雑な埋め込みを評価する。
- 参考スコア(独自算出の注目度): 4.390632861436832
- License:
- Abstract: We present a variety of methods for training complex-valued word embeddings, based on the classical Skip-gram model, with a straightforward adaptation simply replacing the real-valued vectors with arbitrary vectors of complex numbers. In a more "physically-inspired" approach, the vectors are produced by parameterised quantum circuits (PQCs), which are unitary transformations resulting in normalised vectors which have a probabilistic interpretation. We develop a complex-valued version of the highly optimised C code version of Skip-gram, which allows us to easily produce complex embeddings trained on a 3.8B-word corpus for a vocabulary size of over 400k, for which we are then able to train a separate PQC for each word. We evaluate the complex embeddings on a set of standard similarity and relatedness datasets, for some models obtaining results competitive with the classical baseline. We find that, while training the PQCs directly tends to harm performance, the quantum word embeddings from the two-stage process perform as well as the classical Skip-gram embeddings with comparable numbers of parameters. This enables a highly scalable route to learning embeddings in complex spaces which scales with the size of the vocabulary rather than the size of the training corpus. In summary, we demonstrate how to produce a large set of high-quality word embeddings for use in complex-valued and quantum-inspired NLP models, and for exploring potential advantage in quantum NLP models.
- Abstract(参考訳): 本研究では,古典的スキップグラムモデルに基づいて,実数値ベクトルを複素数の任意のベクトルに置き換えることで,複素数値単語の埋め込みを訓練するための様々な手法を提案する。
より「物理的に着想を得た」アプローチでは、ベクトルはパラメータ化された量子回路(PQC)によって生成される。
我々は高度に最適化されたC言語バージョンのSkip-gramを開発し、400k以上の語彙サイズで3.8Bワードコーパスでトレーニングされた複雑な埋め込みを容易に生成し、各単語に対して個別のPQCを訓練することができる。
我々は,古典的ベースラインと競合する結果を得るために,一連の標準類似度および関連性データセット上の複雑な埋め込みを評価する。
PQCのトレーニングは直接性能を損なう傾向にあるが、2段階のプロセスからの量子単語の埋め込みは古典的なスキップグラムの埋め込みと同様に、パラメータの数に匹敵する。
これにより、トレーニングコーパスのサイズではなく、語彙のサイズに合わせてスケールする複雑な空間への埋め込みを学ぶための、高度にスケーラブルなルートが可能になる。
要約すると、複素数値および量子インスパイアされたNLPモデルにおいて、また量子NLPモデルにおける潜在的な優位性を探求するために、高品質な単語埋め込みを大量に生成する方法を実証する。
関連論文リスト
- Memory-Augmented Hybrid Quantum Reservoir Computing [0.0]
本稿では、量子計測の古典的後処理を通じてメモリを実装するハイブリッド量子古典的アプローチを提案する。
我々は、完全に連結されたIsingモデルとRydberg原子配列の2つの物理プラットフォーム上でモデルをテストした。
論文 参考訳(メタデータ) (2024-09-15T22:44:09Z) - Scalable and interpretable quantum natural language processing: an implementation on trapped ions [1.0037949839020768]
本稿では,テキストレベルの量子自然言語処理の実装について述べる。
QDisCoCircモデルに焦点をあて、AIの解釈可能なレンダリングに対する構成的アプローチを基盤としています。
我々はQuantinuumのH1-1トラップイオン量子プロセッサの実験を行った。
論文 参考訳(メタデータ) (2024-09-13T12:36:14Z) - Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか?
我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。
我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
論文 参考訳(メタデータ) (2024-08-22T08:21:28Z) - Inducing Systematicity in Transformers by Attending to Structurally
Quantized Embeddings [60.698130703909804]
トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。
本稿では,SQ-Transformerを提案する。
SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
論文 参考訳(メタデータ) (2024-02-09T15:53:15Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - Category Theory for Quantum Natural Language Processing [0.0]
この論文は、計算言語学と量子力学の類似に基づく量子自然言語処理(QNLP)モデルを導入する。
テキストと文の文法構造は、絡み合い構造が量子系の状態を接続するのと同じように、単語の意味を接続する。
この抽象的なアナロジーを具体的なアルゴリズムに変換し、文法構造をパラメータ化量子回路のアーキテクチャに変換する。
次に、ハイブリッドな古典量子アルゴリズムを用いて、データ駆動タスクにおける文の意味を回路評価によって計算できるようにモデルを訓練する。
論文 参考訳(メタデータ) (2022-12-13T14:38:57Z) - Near-Term Advances in Quantum Natural Language Processing [0.03298597939573778]
本稿では,自然言語処理におけるいくつかのタスクが,量子コンピュータを用いてすでに実行可能であることを示す実験について述べる。
1つ目は、単語トピックのスコアリング重みを個々のキュービットの分数回転として実装する、明示的な単語ベースのアプローチである。
制御NOTゲートを絡み合わせることで、これらの重みの蓄積に基づいて、新しいフレーズを分類する。
論文 参考訳(メタデータ) (2022-06-05T13:10:46Z) - When BERT Meets Quantum Temporal Convolution Learning for Text
Classification in Heterogeneous Computing [75.75419308975746]
本研究は,変分量子回路に基づく垂直連合学習アーキテクチャを提案し,テキスト分類のための量子化事前学習BERTモデルの競争性能を実証する。
目的分類実験により,提案したBERT-QTCモデルにより,SnipsおよびATIS音声言語データセットの競合実験結果が得られた。
論文 参考訳(メタデータ) (2022-02-17T09:55:21Z) - Structured Reordering for Modeling Latent Alignments in Sequence
Transduction [86.94309120789396]
本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。
結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
論文 参考訳(メタデータ) (2021-06-06T21:53:54Z) - QNLP in Practice: Running Compositional Models of Meaning on a Quantum
Computer [0.7194733565949804]
本研究では,NISQ(Noisy Intermediate-Scale Quantum)コンピュータ上で行った最初のNLP実験について報告する。
我々は、量子回路への自然なマッピングを持つ文の表現を作成する。
我々は、量子ハードウェア上で単純な文分類タスクを解くNLPモデルをうまく訓練する。
論文 参考訳(メタデータ) (2021-02-25T13:37:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。