論文の概要: Q-Interference: Memory-Efficient Phase-Aware Quantum-Inspired Attention

• arxiv url: http://arxiv.org/abs/2608.17288v1
• Date: Tue, 18 Aug 2026 02:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.186754
• Title: Q-Interference: Memory-Efficient Phase-Aware Quantum-Inspired Attention
• Title（参考訳）: Q-Interference: メモリ効率の良い位相対応量子インスピレーションアテンション
• Abstract要約: GPTアテンションはドット積の類似性を通じてトークンの互換性を測定する。 強いトークンの特徴が相互に強化または抑制すべきかどうかを明示的にモデル化するものではない。 我々はQ-Interferenceを紹介した。Q-Interferenceは、自己回帰言語モデリングのための、完全に古典的な量子に着想を得たアテンションメカニズムである。
• 参考スコア（独自算出の注目度）: 10.26086309142631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GPT attention measures token compatibility through dot-product similarity. This mechanism is simple, effective, and memory-efficient. But it does not explicitly model whether strong token features should reinforce or suppress one another. We introduce Q-Interference, a fully classical quantum-inspired attention mechanism for autoregressive language modeling that augments each query and key feature with an amplitude and a learned phase. The resulting attention score is phase-aware which aligned phases contribute constructively while conflicting phases contribute destructively. Although Q-Interference yields a richer interaction rule than similarity alone, a naive implementation of Q-Interference requires a large token-pair-feature interaction tensor, making it memory-intensive and often impractical. To address this limitation, we propose an exact trigonometric factorization that computes the same score using two standard matrix multiplications avoiding materialization of the large intermediate tensor. Q-Interference fits directly into a Transformer block in GPT and leaves the remainder of the model architecture and next-token prediction objective unchanged. Experiments on public benchmark datasets and baseline models show that the proposed reformulation trains stably in a controlled GPT-style setting and provides a consistent memory advantage over naive phase-aware interference attention. These results support the specific contribution of this work: an exact memory-efficient reformulation that makes phase-aware interference attention practical within a standard GPT pipeline.
• Abstract（参考訳）: GPTアテンションはドット積の類似性を通じてトークンの互換性を測定する。 このメカニズムは単純で効果的で、メモリ効率が良い。 しかし、強力なトークン機能が互いに強化または抑制すべきかどうかを明示的にモデル化するものではない。 我々はQ-Interferenceを紹介した。Q-Interferenceは、完全古典的な量子にインスパイアされた自動回帰言語モデリングのための注意機構で、各クエリとキーの特徴を振幅と学習フェーズで拡張する。 得られた注目スコアは、整列相が構成的に寄与する相認識であり、相反する相は破壊的に寄与する。 Q-Interference は類似性だけではよりリッチな相互作用規則をもたらすが、Q-Interference の実装には大きなトークン-ペア-フェイル相互作用テンソルが必要であるため、メモリ集約的であり、しばしば非現実的である。 この制限に対処するために、大きな中間テンソルの物質化を避けるために、2つの標準行列乗算を用いて同じスコアを計算する正確な三角因子化を提案する。 Q-Interference は GPT の Transformer ブロックに直接適合し、モデルアーキテクチャの残りの部分と次点予測の目的は変わらない。 公開ベンチマークデータセットとベースラインモデルを用いた実験により、提案した改定列車は制御されたGPTスタイルの設定で安定的に動作し、フェイズアウェアの注意よりも一貫したメモリ優位性が得られることが示された。 これらの結果は、標準的なGPTパイプライン内で位相認識の注意を実用的なものにする、正確なメモリ効率の改善という、この作業の具体的な貢献を支持する。

関連論文リスト

• BARFI-Q: Quantum-Enhanced Block Attention Residual Fusion Framework for Multivariate Time-Series Forecasting in Atom Interferometry [3.2350449526046567]
  本稿では,原子間干渉法における時系列予測のための量子化ブロック注意残差融合フレームワークを提案する。 BarFI-Qは、パッチベースの埋め込み、デュアルブランチ時間モデリング、階層的融合、適応的ブロックアテンション残留集合、および量子フィーチャマッピングモジュールを統合する。 その結果,マルチスケールの時間的学習,階層的融合,適応的残差ルーティング,量子化潜在変換が,原子干渉計測による時系列予測に有効な枠組みであることが示唆された。
  論文  参考訳（メタデータ） (2026-05-06T19:26:56Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• Interaction as Interference: A Quantum-Inspired Aggregation Approach [4.07636450847048]
  我々は、相互作用を、エンジニアリングされた製品用語として、あるいは柔軟なモデルにおける創発的なパターンとして、量子的に着想を得たビューと捉えています。 最小線形振幅モデルでは、この交差項は因子設計における標準電位-出力相互作用コントラスト(_mathrmINT)と等しい。 我々はこのアイデアを軽量なemphInterference Kernel (IKC) にインスタンス化し、emphCoherent Gain (非一貫性プロキシよりもコヒーレントをlog-likelihood gain of coherent)とemphInterという2つの診断手法を導入する。
  論文  参考訳（メタデータ） (2025-11-13T06:44:18Z)
• Holographic Transformers for Complex-Valued Signal Processing: Integrating Phase Interference into Self-Attention [19.574464511943074]
  我々は、波動干渉原理を自己注意に組み込んだ物理に着想を得たアーキテクチャであるホログラフィックトランスフォーマーを紹介する。 デュアルヘッドデコーダは同時に入力を再構築してタスク出力を予測する。 PolSAR画像分類と無線チャネル予測の実験は、高い分類精度とF1スコア、低回帰誤差、位相摂動に対するロバスト性の向上を示す。
  論文  参考訳（メタデータ） (2025-09-14T15:24:43Z)
• Wave-Based Semantic Memory with Resonance-Based Retrieval: A Phase-Aware Alternative to Vector Embedding Stores [51.56484100374058]
  本稿では,波動パターン$psi(x) = A(x) eiphi(x)$として知識をモデル化し,共振に基づく干渉によってそれを検索する新しいフレームワークを提案する。 このアプローチは振幅情報と位相情報の両方を保存し、より表現的かつ堅牢な意味的類似性を実現する。
  論文  参考訳（メタデータ） (2025-08-21T10:13:24Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Mitigating Attention Hacking in Preference-Based Reward Modeling via Interaction Distillation [62.14692332209628]
  インタラクション蒸留(Interaction Distillation)は、注意レベル最適化によるより適切な嗜好モデリングのための新しいトレーニングフレームワークである。 最先端のRM最適化法と比較して、より安定で一般化可能な報酬信号を提供する。
  論文  参考訳（メタデータ） (2025-08-04T17:06:23Z)
• Is Attention Required for Transformer Inference? Explore Function-preserving Attention Replacement [13.38679135071682]
  本稿では,事前学習したトランスフォーマーのすべての注意ブロックを学習可能なシーケンス・ツー・シーケンスモジュールに置き換える機能保存型アテンション・リプレースメントフレームワークを提案する。 DeiTビジョントランスファミリ上でFARを検証し、ImageNet上の元のモデルの精度と、パラメータとレイテンシを低減した複数の下流タスクとを一致させることを実証する。
  論文  参考訳（メタデータ） (2025-05-24T02:23:46Z)
• Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
  弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。 本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
  論文  参考訳（メタデータ） (2023-05-04T19:11:33Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。