論文の概要: SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models

• arxiv url: http://arxiv.org/abs/2609.37134v1
• Date: Tue, 29 Sep 2026 09:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.389453
• Title: SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models
• Title（参考訳）: SQUARE:凍結言語モデルのためのコンパクトな二次特徴写像としての構造化量子表現アダプタ
• Abstract要約: 凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。 本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。 各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
• 参考スコア（独自算出の注目度）: 50.300302932452006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frozen language models (LMs) are increasingly used as fixed feature extractors for downstream reranking, scoring, and preference modeling, raising a practical question: how should a compact module represent interactions among features in a fixed low-dimensional bottleneck? Common linear and low-rank adapters remain linear at the adaptation module itself, whereas explicit second-order alternatives introduce pairwise interactions through direct parameterization or predefined factorizations. We propose SQUARE, a Structured QUAntum REpresentation adapter that amplitude-encodes the bottleneck vector, applies a parameterized quantum circuit, and measures the resulting state. We show that each basis-probability feature is exactly a normalized quadratic form in the bottleneck coordinates, while the additional Pauli-$Z$ readouts are signed linear combinations of these probabilities. The measured map can therefore parameterize interactions over $O(d^2)$ coordinate pairs through a small set of shared circuit parameters, where $d$ is the bottleneck dimension. It provides a structured parameterization within, rather than beyond, the classical normalized-quadratic feature class. In a disjoint same-pipeline evaluation over eight GLUE-derived controlled interaction tasks and five shared seeds, SQUARE achieves an average test accuracy of $0.7565$, compared with $0.7355$ for an affine normalized-quadratic predictor, $0.7271$ for the evaluated parameter-matched Givens mixing model, $0.6817$ for an MLP, and $0.6155$ for a frozen-circuit control. Under reduced supervision, it also shows consistent gains over the strongest evaluated classical comparator, with the same qualitative pattern across multiple frozen LM backbones. All circuit experiments use simulation, while the learned feature map can be evaluated exactly in batched PyTorch without quantum hardware.
• Abstract（参考訳）: 凍結言語モデル(LM)は、下流の階調、スコアリング、嗜好モデリングのための固定された特徴抽出器としてますます使われており、実際的な疑問を提起している。 一般的な線形および低ランクのアダプタはアダプティブモジュール自身で線形であり、一方明示的な2階の代替は直接パラメタライゼーションや事前定義された分解を通じてペアの相互作用を導入する。 本稿では, 振幅エンコードによりボトルネックベクトルを量子化し, パラメータ化量子回路を適用し, 結果の状態を測定する構造的クエンタム表現アダプタSQUAREを提案する。 各基底確率関数はちょうどボトルネック座標の正規化二次形式であり、追加のPauli-$Z$読み出しはそれらの確率の線形結合であることを示す。 したがって、測定された写像は、$O(d^2)$座標対上の相互作用を小さな共有回路パラメータによってパラメータ化することができる。 これは、古典的な正規化四次的特徴クラスよりもむしろ、構造化されたパラメータ化を提供する。 8つのGLUE由来の制御された相互作用タスクと5つの共有シードに対する不均一な同じパイプの評価において、SQUAREは平均的なテスト精度を0.7565$とし、アフィン正規化クアドラティック予測器は0.7355$、パラメータマッチングされたGivens混合モデルでは0.7271$、MLPは0.6817$、凍結回路制御では0.6155$とした。 監督の削減の下では、複数の凍結したLMバックボーンにまたがる同じ定性的パターンを持つ、最も評価の高い古典コンパレータよりも一貫した利得を示す。 全ての回路実験はシミュレーションを用いており、学習した特徴マップは量子ハードウェアなしでバッチ化されたPyTorchで正確に評価することができる。

関連論文リスト

• Scaling-Score Conformal Prediction for Multi-Target Regression [0.42970700836450476]
  マルチターゲット回帰は、複数の関連する出力を同時に予測するモデルを必要とする。 モデルに依存しないスケーリングスコアコンフォメーション法(コンポーネント単位の絶対残差のみを要求する)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T12:23:57Z)
• A hardware-efficient variational ansatz with an exact diagonal metric for real- and imaginary-time evolution and Haar sampling [0.0]
  この研究は、ハードウェア効率の良い$n$-qubitアンサッツを導入し、二分木によって状態をパラメライズし、フビニ・スタディの引き戻し計量を閉形式で対角化させる。 小分子と半充填ハバードクエンチ力学の電子構造計算において、この手法は基準レベルの精度を1〜3桁の2量子ゲートで達成する。
  論文  参考訳（メタデータ） (2026-07-08T21:38:39Z)
• High-dimensional Adaptive MCMC with Reduced Computational Complexity [0.8594140167290097]
  本稿では, 線形プレコンディショナリを非対角的要素で密集するが, パラメトリションで疎らに学習する適応MCMC法を提案する。 絶対的な性能で対角線プレコンディショニングよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-10T12:58:00Z)
• Pathway to $O(\sqrt{d})$ Complexity bound under Wasserstein metric of flow-based models [1.724966705006084]
  We provide tools to estimates the error of flow-based generative model under the Wasserstein metric。 この誤差は、次元と独立にスケールする後方流のプッシュフォワード写像のリプシッツ性という2つの部分によって明示的に制御できることを示す。
  論文  参考訳（メタデータ） (2025-12-07T07:26:39Z)
• Dynamic, Symmetry-Preserving, and Hardware-Adaptable Circuits for Quantum Computing Many-Body States and Correlators of the Anderson Impurity Model [0.0]
  ハミルトン予想値は$omega(N_q)N_textmeas. leq O(N_textimpN_textbath)$対称性保存並列測定回路を必要とする。 我々のアンサッツは、初期のフォールトトレラントプロセッサの電子的相関を考慮に入れるのに有用なツールである。
  論文  参考訳（メタデータ） (2024-05-23T21:41:28Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。