論文の概要: Quantum-inspired Embeddings Projection and Similarity Metrics for Representation Learning

• arxiv url: http://arxiv.org/abs/2501.04591v1
• Date: Wed, 08 Jan 2025 16:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:33.277459
• Title: Quantum-inspired Embeddings Projection and Similarity Metrics for Representation Learning
• Title（参考訳）: 量子インスパイアされた埋め込みの投影と表現学習のための類似度指標
• Authors: Ivan Kankeu, Stefan Gerd Fritsch, Gunnar Schönhoff, Elie Mounzer, Paul Lukowicz, Maximilian Kiefer-Emmanouilidis,
• Abstract要約: 表現学習システムのコアコンポーネントはプロジェクションヘッドであり、元の埋め込みを異なる、しばしば圧縮された空間にマッピングする。 本稿では、対応する量子インスパイアされた類似度メトリックを含む、量子インスパイアされた投影ヘッドを提案する。 具体的には、古典的な埋め込みをヒルベルト空間の量子状態にマッピングし、埋め込み次元を低減するために量子回路ベースの投影ヘッドを導入する。
• 参考スコア（独自算出の注目度）: 1.9946021995522714
• License:
• Abstract: Over the last decade, representation learning, which embeds complex information extracted from large amounts of data into dense vector spaces, has emerged as a key technique in machine learning. Among other applications, it has been a key building block for large language models and advanced computer vision systems based on contrastive learning. A core component of representation learning systems is the projection head, which maps the original embeddings into different, often compressed spaces, while preserving the similarity relationship between vectors. In this paper, we propose a quantum-inspired projection head that includes a corresponding quantum-inspired similarity metric. Specifically, we map classical embeddings onto quantum states in Hilbert space and introduce a quantum circuit-based projection head to reduce embedding dimensionality. To evaluate the effectiveness of this approach, we extended the BERT language model by integrating our projection head for embedding compression. We compared the performance of embeddings, which were compressed using our quantum-inspired projection head, with those compressed using a classical projection head on information retrieval tasks using the TREC 2019 and TREC 2020 Deep Learning benchmarks. The results demonstrate that our quantum-inspired method achieves competitive performance relative to the classical method while utilizing 32 times fewer parameters. Furthermore, when trained from scratch, it notably excels, particularly on smaller datasets. This work not only highlights the effectiveness of the quantum-inspired approach but also emphasizes the utility of efficient, ad hoc low-entanglement circuit simulations within neural networks as a powerful quantum-inspired technique.
• Abstract（参考訳）: 過去10年間で、大量のデータから抽出された複雑な情報を高密度なベクトル空間に埋め込んだ表現学習が、機械学習の重要な技術として登場した。 その他のアプリケーションの中では、コントラスト学習に基づく大規模言語モデルや高度なコンピュータビジョンシステムのための重要なビルディングブロックとなっている。 表現学習システムの中核となるコンポーネントは射影ヘッドであり、ベクトル間の類似関係を保ちながら、元の埋め込みを異なる、しばしば圧縮された空間にマッピングする。 本稿では、対応する量子インスパイアされた類似度メトリックを含む、量子インスパイアされた投影ヘッドを提案する。 具体的には、古典的な埋め込みをヒルベルト空間の量子状態にマッピングし、埋め込み次元を低減するために量子回路ベースの投影ヘッドを導入する。 提案手法の有効性を評価するため,提案手法は,圧縮の埋め込みのための投影ヘッドを統合することで,BERT言語モデルを拡張した。 TREC 2019とTREC 2020のDeep Learningベンチマークを用いて,従来の投影ヘッドを用いて圧縮した埋め込みの性能を比較した。 その結果,提案手法は従来の手法に比べて32倍少ないパラメータを生かしながら,競争性能を達成できることが示唆された。 さらに、スクラッチからトレーニングする場合、特に小さなデータセットで特に優れている。 この研究は、量子インスパイアされたアプローチの有効性を強調するだけでなく、強力な量子インスパイアされた手法として、ニューラルネットワーク内の効率的でアドホックな低絡み合った回路シミュレーションの有用性を強調している。

関連論文リスト

• Quantum Transfer Learning for MNIST Classification Using a Hybrid Quantum-Classical Approach [0.0]
  本研究は、画像分類タスクにおける量子コンピューティングと古典的機械学習の統合について検討する。 両パラダイムの強みを生かしたハイブリッド量子古典的アプローチを提案する。 実験結果から、ハイブリッドモデルが量子コンピューティングと古典的手法を統合する可能性を示す一方で、量子結果に基づいて訓練された最終モデルの精度は、圧縮された特徴に基づいて訓練された古典的モデルよりも低いことが示唆された。
  論文  参考訳（メタデータ） (2024-08-05T22:16:27Z)
• Neural auto-designer for enhanced quantum kernels [59.616404192966016]
  本稿では,問題固有の量子特徴写像の設計を自動化するデータ駆動型手法を提案する。 私たちの研究は、量子機械学習の進歩におけるディープラーニングの実質的な役割を強調します。
  論文  参考訳（メタデータ） (2024-01-20T03:11:59Z)
• ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
  本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。 ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。 量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
  論文  参考訳（メタデータ） (2023-08-22T09:11:53Z)
• The Quantum Path Kernel: a Generalized Quantum Neural Tangent Kernel for Deep Quantum Machine Learning [52.77024349608834]
  古典的なディープニューラルネットワークの量子アナログを構築することは、量子コンピューティングにおける根本的な課題である。 鍵となる問題は、古典的なディープラーニングの本質的な非線形性にどのように対処するかである。 我々は、深層機械学習のこれらの側面を複製できる量子機械学習の定式化であるQuantum Path Kernelを紹介する。
  論文  参考訳（メタデータ） (2022-12-22T16:06:24Z)
• A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
  我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。 我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
  論文  参考訳（メタデータ） (2022-11-23T18:25:32Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Tree tensor network classifiers for machine learning: from quantum-inspired to quantum-assisted [0.0]
  本稿では,データベクトルの長さが指数関数的に大きいヒルベルト空間において,多変量データを量子状態に符号化する量子支援機械学習(QAML)法について述べる。 本稿ではゲートベースの量子コンピューティングデバイスに実装可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-06T02:31:48Z)
• Quantum Self-Supervised Learning [22.953284192004034]
  対照的自己監督学習のためのハイブリッド量子古典ニューラルネットワークアーキテクチャを提案する。 ibmq_paris量子コンピュータ上の見えない画像を分類するために、最良の量子モデルを適用します。
  論文  参考訳（メタデータ） (2021-03-26T18:00:00Z)
• Nearest Centroid Classification on a Trapped Ion Quantum Computer [57.5195654107363]
  我々は,古典的データを量子状態に効率よくロードし,距離推定を行う手法を用いて,量子近接Centroid分類器を設計する。 MNIST手書き桁データセットの古典的最寄りのセントロイド分類器の精度と8次元合成データの最大100%の精度とを一致させ,11量子ビットトラップイオン量子マシン上で実験的に実証した。
  論文  参考訳（メタデータ） (2020-12-08T01:10:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。