論文の概要: Trainable Quantum-Native Language Models: Dissipative Memory, Capacity Limits, and Hardware Validation
- arxiv url: http://arxiv.org/abs/2610.12806v1
- Date: Thu, 08 Oct 2026 23:29:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.318902
- Title: Trainable Quantum-Native Language Models: Dissipative Memory, Capacity Limits, and Hardware Validation
- Title（参考訳）: 学習可能な量子ネイティブ言語モデル:散逸記憶、容量制限、ハードウェア検証
- Abstract要約: 隠れ状態が小さな量子レジスタであり、遷移がトークン条件の量子チャネルで学習される言語モデルについて検討する。
IBM Heronハードウェアでは、最大12トークンのプレフィックスにまたがる12/12回路の均一なヌルに対して、計算ベースのメモリレジスタ分布が信号を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study byte-level autoregressive language models whose hidden state is a small quantum register, whose transitions are learned token-conditioned quantum channels, and whose next-byte probabilities come directly from Born-rule measurements without a learned classical vocabulary projection or softmax. In the fixed-width recurrent setting, unitary dynamics cannot contract or reset stored distinctions; experimentally, unitary recurrence loses to its retrained one-token control in every tested variant. Introducing learned dissipation, then token-conditioned dissipative gating, yields useful memory beyond one token. The gated model improves test negative log-likelihood by 0.20 +/- 0.03 nats/byte over retrained parameter-matched one-token controls at context length 12, and by 0.29-0.33 at longer contexts, but never beats retrained two-token controls. A key-value recall benchmark shows a width-dependent threshold: one stored pair meets the pre-registered accuracy bar at 4-5 memory qubits, two pairs at 6-7, and three pairs remain unsolved. This is consistent with, but does not establish, a capacity explanation for the short effective memory horizon. As a secondary result, one-qubit models reach lower stationary memory entropy than a heuristically optimized classical predictive frontier at matched error in 9/9 seeds. On IBM Heron hardware, computational-basis memory-register distributions show signal against a uniform null in 12/12 circuits across prefixes of up to 12 tokens, next-bit probabilities pass pre-registered accuracy bars at four-token prefixes, and bytes are generated autoregressively by sampling physically measured bit probabilities. The tested models are classically simulable and substantially worse than classical n-gram baselines. We claim no computational quantum advantage.
- Abstract（参考訳）: 隠れ状態が小さな量子レジスタであり、遷移がトークン条件の量子チャネルであるバイトレベルの自己回帰言語モデルと、学習された古典語彙投影やソフトマックスを使わずにボルンルール測定から直接次のバイト確率を求める。
固定幅のリカレント設定では、ユニタリダイナミクスは格納された区別を収縮またはリセットすることはできない。
学習した消散、トークン条件の消散ゲーティングの導入は、1つのトークンを超える有用なメモリを生み出す。
ゲートモデルは、コンテキスト長12で再トレーニングされたパラメータマッチングされた1-tokenコントロールに対して0.20 +/- 0.03 nats/byte、コンテキスト長で0.29-0.33でテストネガティブなログライクな状態を改善するが、再トレーニングされた2-tokenコントロールに勝ることはない。
キー値リコールベンチマークは、幅依存しきい値を示す: 1つの格納されたペアは、事前登録された精度バーを4-5メモリキュービットで満たし、2つのペアは6-7で、そして3つのペアは未解決のままである。
これは、短い有効メモリ水平線のキャパシティの説明と一致しているが、確立していない。
二次的な結果として、1量子モデルは9/9シードの一致誤差において、ヒューリスティックに最適化された古典的予測フロンティアよりも低い定常メモリエントロピーに達する。
IBM Heronハードウェアでは、最大12トークンのプレフィックスにまたがる12/12回路の均一なヌルに対する信号、次のビット確率は4トークンのプレフィックスで事前登録された精度バーを通過し、バイトは物理的に測定されたビット確率をサンプリングして自己回帰的に生成される。
テストされたモデルは古典的にシミュレート可能であり、古典的なn-グラムのベースラインよりもかなり悪い。
計算量子の優位性は主張できない。
関連論文リスト
- Constant-Memory Recall: Learned Associations in a Fixed Matrix State [0.0]
固定サイズのリカレントメモリは、推論中のストレージ増加を制限するが、リコールの成功はタスクとトレーニングに依存する。
固定トークン固有の鍵バイアスを持つ小さなDeltaNet変種について検討し,32個の新しいキー値ペアリングをシーケンス毎に記憶するように訓練した。
32の繰り返し行列状態で、配列の値の中から選択すると、3つの訓練種子の平均精度が99.95%に達する。
論文 参考訳（メタデータ） (2026-09-23T00:17:36Z) - Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。
Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。
100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
論文 参考訳（メタデータ） (2026-09-11T00:17:22Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - The ZZ feature map induces a signless Laplacian metric: a closed-form classical surrogate for quantum kernel regression [0.0]
我々は、誘導核が小さい帯域幅の状態では、先行順に、計量 M = I + pi2 Q の異方性ガウス核であることを証明する。
対応する古典的カーネルは、適合パラメータを必要とせず、量子シミュレーションも必要としない。
論文 参考訳（メタデータ） (2026-08-29T19:59:00Z) - Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。
固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
論文 参考訳（メタデータ） (2026-07-10T18:28:21Z) - CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention [0.0]
リカレントモデルは思い出すために忘れなければならないが、芸術の状態は保存されているものを参照せずに、何を削除するかを決定する。
このメモリブラインドゲーティングは、主要なデルタルールアーキテクチャ(GDN-2)における3つの結合欠陥の1つである。
我々はCARVEを導入し、鍵軸のみを消去するという3つの問題を1つの原理で解決する。
論文 参考訳（メタデータ） (2026-06-25T16:16:51Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - Demonstrating a long-coherence dual-rail erasure qubit using tunable transmons [59.63080344946083]
共振結合された一対のトランスモンからなる「デュアルレール量子ビット」が高コヒーレントな消去量子ビットを形成することを示す。
我々は、チェック毎に0.1%$ dephasingエラーを導入しながら、消去エラーの中間回路検出を実演する。
この研究は、ハードウェア効率の量子誤り訂正のための魅力的なビルディングブロックとして、トランスモンベースのデュアルレールキュービットを確立する。
論文 参考訳（メタデータ） (2023-07-17T18:00:01Z) - Fault-tolerant parity readout on a shuttling-based trapped-ion quantum
computer [64.47265213752996]
耐故障性ウェイト4パリティチェック測定方式を実験的に実証した。
フラグ条件パリティ測定の単発忠実度は93.2(2)%である。
このスキームは、安定化器量子誤り訂正プロトコルの幅広いクラスにおいて必須な構成要素である。
論文 参考訳（メタデータ） (2021-07-13T20:08:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。