論文の概要: Quantum Large Language Models via Tensor Network Disentanglers

• arxiv url: http://arxiv.org/abs/2410.17397v1
• Date: Tue, 22 Oct 2024 20:12:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:26.537134
• Title: Quantum Large Language Models via Tensor Network Disentanglers
• Title（参考訳）: テンソルネットワークディスタングルを用いた量子大言語モデル
• Authors: Borja Aizpurua, Saeed S. Jahromi, Sukhbinder Singh, Roman Orus,
• Abstract要約: 本稿では,量子コンピューティングと量子インスパイアされた技術を統合することで,Large Language Models(LLM)の性能を向上させる手法を提案する。 我々のアプローチは、自己保持層と多層パーセプトロン層における重み行列を、2つの変分量子回路と量子インスパイアされたテンソルネットワークの組み合わせで置き換えることである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose a method to enhance the performance of Large Language Models (LLMs) by integrating quantum computing and quantum-inspired techniques. Specifically, our approach involves replacing the weight matrices in the Self-Attention and Multi-layer Perceptron layers with a combination of two variational quantum circuits and a quantum-inspired tensor network, such as a Matrix Product Operator (MPO). This substitution enables the reproduction of classical LLM functionality by decomposing weight matrices through the application of tensor network disentanglers and MPOs, leveraging well-established tensor network techniques. By incorporating more complex and deeper quantum circuits, along with increasing the bond dimensions of the MPOs, our method captures additional correlations within the quantum-enhanced LLM, leading to improved accuracy beyond classical models while maintaining low memory overhead.
• Abstract（参考訳）: 本稿では,量子コンピューティングと量子インスパイアされた技術を統合することで,Large Language Models(LLM)の性能を向上させる手法を提案する。 具体的には、自己保持層と多層パーセプトロン層における重み行列を、2つの変分量子回路と行列積演算子(MPO)のような量子インスパイアテンソルネットワークの組み合わせで置き換える。 この置換により、テンソルネットワークディスタングルとMPOを用いて重み行列を分解し、確立されたテンソルネットワーク技術を活用することで、古典的なLLM機能の再現が可能となる。 より複雑で深い量子回路を組み込むことで、MPOsの結合次元を増大させることで、量子強化LDM内の追加の相関を捕捉し、メモリオーバーヘッドを低く保ちながら古典的モデルを超えた精度を向上させる。

関連論文リスト

• Quantum-Train with Tensor Network Mapping Model and Distributed Circuit Ansatz [0.8192907805418583]
  量子トレイン(Quantum-Train、QT)は、量子古典機械学習のハイブリッドフレームワークである。 量子状態の測定を古典的なニューラルネットワークの重みにマッピングする。 従来のQTフレームワークでは、このタスクにマルチレイヤパーセプトロン(MLP)を採用しているが、スケーラビリティと解釈可能性に苦慮している。 複数の小さな量子処理ユニットノードを持つ大規模量子機械学習用に設計された分散回路アンサッツを提案する。
  論文  参考訳（メタデータ） (2024-09-11T03:51:34Z)
• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
  d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか? 我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。 我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• Towards Efficient Quantum Hybrid Diffusion Models [68.43405413443175]
  本稿では,量子ハイブリッド拡散モデルの設計手法を提案する。 量子コンピューティングの優れた一般化と古典的ネットワークのモジュラリティを組み合わせた2つのハイブリダイゼーション手法を提案する。
  論文  参考訳（メタデータ） (2024-02-25T16:57:51Z)
• Quantum circuit synthesis with diffusion models [0.6554326244334868]
  我々は、この変換を促進するために、生成機械学習モデル、特に拡散モデル(DM)をデノナイズする。 我々は、ゲートベースの量子回路内で所望の量子演算を生成するために、このモデルを操縦する。 我々は、DMを量子回路合成の重要な要素として想定し、実用的な応用だけでなく、理論的量子計算に関する洞察も強化する。
  論文  参考訳（メタデータ） (2023-11-03T17:17:08Z)
• The Quantum Path Kernel: a Generalized Quantum Neural Tangent Kernel for Deep Quantum Machine Learning [52.77024349608834]
  古典的なディープニューラルネットワークの量子アナログを構築することは、量子コンピューティングにおける根本的な課題である。 鍵となる問題は、古典的なディープラーニングの本質的な非線形性にどのように対処するかである。 我々は、深層機械学習のこれらの側面を複製できる量子機械学習の定式化であるQuantum Path Kernelを紹介する。
  論文  参考訳（メタデータ） (2022-12-22T16:06:24Z)
• Quantum Phase Recognition using Quantum Tensor Networks [0.0]
  本稿では,教師付き学習タスクのためのテンソルネットワークにインスパイアされた浅部変分アンザツに基づく量子機械学習手法について検討する。 マルチスケールエンタングルメント再正規化アンサッツ (MERA) とツリーテンソルネットワーク (TTN) がパラメタライズド量子回路にインスパイアされた場合、テストセットの精度が$geq 98%に達する。
  論文  参考訳（メタデータ） (2022-12-12T19:29:07Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Variational Quantum Optimization with Multi-Basis Encodings [62.72309460291971]
  マルチバスグラフ複雑性と非線形活性化関数の2つの革新の恩恵を受ける新しい変分量子アルゴリズムを導入する。 その結果,最適化性能が向上し,有効景観が2つ向上し,測定の進歩が減少した。
  論文  参考訳（メタデータ） (2021-06-24T20:16:02Z)
• The Hintons in your Neural Network: a Quantum Field Theory View of Deep Learning [84.33745072274942]
  線形および非線形の層をユニタリ量子ゲートとして表現する方法を示し、量子モデルの基本的な励起を粒子として解釈する。 ニューラルネットワークの研究のための新しい視点と技術を開くことに加えて、量子定式化は光量子コンピューティングに適している。
  論文  参考訳（メタデータ） (2021-03-08T17:24:29Z)
• An end-to-end trainable hybrid classical-quantum classifier [0.0]
  量子インスパイアされたテンソルネットワークと変分量子回路を組み合わせて教師付き学習タスクを行うハイブリッドモデルを提案する。 このアーキテクチャにより、モデルの古典的および量子的部分を同時にトレーニングすることができ、エンドツーエンドのトレーニングフレームワークを提供する。
  論文  参考訳（メタデータ） (2021-02-04T05:19:54Z)
• Autoregressive Transformer Neural Network for Simulating Open Quantum Systems via a Probabilistic Formulation [5.668795025564699]
  オープン量子システムのダイナミクスに対処するためのアプローチを提案する。 自己回帰変換ニューラルネットワークを用いて量子状態をコンパクトに表現する。 効率的なアルゴリズムは、リウヴィリア超作用素の力学をシミュレートするために開発された。
  論文  参考訳（メタデータ） (2020-09-11T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。