論文の概要: Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall

• arxiv url: http://arxiv.org/abs/2604.07716v2
• Date: Sat, 11 Apr 2026 09:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 14:47:45.71457
• Title: Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall
• Title（参考訳）: KVキャッシュブートネックを破る: ファン二重性モデルによるO(1)デコードメモリの実現
• Abstract要約: Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present FDM (Fan Duality Model), a linear sequence architecture that resolves the fundamental tension between memory efficiency and associative recall in sequence modeling. FDM separates sequence processing into two components: a wave component (recurrent scan via phase-preserving Givens rotations) that compresses long-range patterns into a fixed-size complex hidden state, and a particle component (local-global cache) that retrieves specific tokens via learned associative addressing with W+K=272 slots independent of sequence length N. This yields strictly O(1) decode memory: 867 MB fixed across all prompt lengths 128-8,192 tokens, versus Transformer's 853-4,247 MB (4.9x reduction at N=8,192). Beyond the architecture, we discover that jointly training the wave and particle components leads to suboptimal convergence. We propose Freeze-Scan, a two-phase training strategy that freezes the recurrent scan and optimizes the cache jointly with embeddings, achieving PPL=64.9 on WikiText-103 in 44K steps -- a 7.5x improvement over full fine-tuning (PPL=487). On Multi-Query Associative Recall (MQAR), FDM achieves 0.966 accuracy, surpassing Transformer (0.606) by 59.5%, while pure scan without cache scores only 0.011, confirming the necessity of the particle component. Finally, we introduce Holographic Reference Beam Decoding, interpreting the complex hidden state h_t as a holographic plate encoding the entire temporal history. Using the current input x_t as a reference beam to modulate h_t reduces PPL by up to 2.13 points (PPL=62.79) with a 4-head orthogonal reference beam using only 1.3M additional parameters, providing empirical support for the holographic interpretation. Code and pretrained weights: https://github.com/YasongFan/FDM
• Abstract（参考訳）: 本稿では,FDM(Fan Duality Model)を提案する。FDM(Fan Duality Model)は,シーケンスモデリングにおいて,メモリ効率と連想リコールの基本的な緊張を解消する線形シーケンスアーキテクチャである。 FDMはシーケンス処理を2つのコンポーネントに分割する: 長い範囲のパターンを固定サイズの複素隠蔽状態に圧縮する波動成分(位相保存による繰り返しスキャン)と、学習したW+K=272スロットによる特定のトークンをシーケンス長Nから独立して取得する粒子成分(局所グロバルキャッシュ)。 アーキテクチャを超えて、波動成分と粒子成分を共同で訓練することで、最適下収束がもたらされる。 我々は,再実行スキャンを凍結し,埋め込みと共同でキャッシュを最適化する2段階のトレーニング戦略であるFreeze-Scanを提案し,WikiText-103のPPL=64.9を44Kステップで達成した。 Multi-Query Associative Recall (MQAR)では、FDMが0.966の精度を達成し、Transformer (0.606) を59.5%上回った。 最後に、ホログラフィック参照ビームデコーディングを導入し、複雑な隠れ状態h_tを時間履歴全体を符号化したホログラフィックプレートとして解釈する。 電流入力 x_t を基準ビームとして h_t を変調することにより、PPL を最大2.13点 (PPL=62.79) まで減少させる。 コードと事前トレーニング:https://github.com/YasongFan/FDM

関連論文リスト

• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Hierarchical Transformer Preconditioning for Interactive Physics Simulation [28.137076331332413]
  階層型トランスフォーマープレコンディショナー(Hierarchical Transformer Preconditioner)は、弱い許容率のH行列分割に固定されたニューラルプレコンディショナーである。 ネットワークは低ランクの遠距離因子を通して逆をモデル化する。 高速道路の接続を利用して、奥行きを隔ててコンテキストを伝播する。
  論文  参考訳（メタデータ） (2026-05-13T11:02:27Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• Decoder Dependence in Surface-Code Threshold Estimation with Native Gottesman-Kitaev-Preskill Digitization and Parallelized Sampling [4.11280059407553]
  パウリノイズとネイティブGKPスタイルのガウス変位ディジタル化という2つの整合状態下での表面符号閾値研究におけるデコーダ依存性のベンチマークを行った。 We benchmark MWPM, Union-Find (UF), Belief Propagation (BP), and neural-guided MWPM with fixed seed, same sweep grid, and unified reporting across across runs 06-14。
  論文  参考訳（メタデータ） (2026-03-25T18:07:04Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA [10.452946241750562]
  Gated DeltaNet(GDN)は、成長するKVキャッシュを固定サイズのリカレントステートに置き換える線形アテンションメカニズムである。 このボトルネックはアルゴリズムではなくアーキテクチャであることが示され、全てのサブクワッド列モデルはデコード時に 1 FLOP/B 未満の演算強度を示す。 オンチップBRAMにおいて,フル2MBのリカレント状態を持続的に保持することにより,このボトルネックを解消するFPGAアクセラレータを提案する。
  論文  参考訳（メタデータ） (2026-03-06T06:03:38Z)
• Unsupervised Discovery of Intermediate Phase Order in the Frustrated $J_1$-$J_2$ Heisenberg Model via Prometheus Framework [0.0]
  本稿では,Prometheus変分オートエンコーダフレームワークを適用して,J_1$-$J$位相図を探索する。 構造因子 $S(,)$ と $S(,)$ を支配的順序パラメータとして同定する。 この研究は、フラストレーションのある量子システムに機械学習を適用するためのスケーラブルな経路を確立する。
  論文  参考訳（メタデータ） (2026-02-25T00:44:51Z)
• FlashSchNet: Fast and Accurate Coarse-Grained Neural Network Molecular Dynamics [36.3434800328807]
  SchNetのようなグラフニューラルネットワーク(GNN)のポテンシャルは、分子動力学(MD)シミュレーションの精度と伝達性を改善する。 我々は,高帯域メモリ(HBM)とオンチップ間の読み書きを慎重に考慮し,GNN-MD IOを意識する原理を欠いていることを示す。 提案するFlashSchNetは,4つの技術をベースに構築された,効率よく正確なIO対応GNN-MDフレームワークである。
  論文  参考訳（メタデータ） (2026-02-13T17:49:12Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
  LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。 ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。 LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
  論文  参考訳（メタデータ） (2025-05-27T20:02:59Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)
• IterL2Norm: Fast Iterative L2-Normalization [1.4602363426887837]
  トランスフォーマーベースの大規模言語モデルはメモリバウンドモデルであり、操作は余分に再利用される大量のデータに基づいている。 レイヤの正規化は、マルチヘッドの注意とフィードフォワードのネットワークブロックに従って、トランスフォーマーモデルにおける重要なワークロードの1つである。 1次元入力 (IterL2Norm) の反復L2正規化法を導入し, 定常解への高速収束を5段階以内で保証する。
  論文  参考訳（メタデータ） (2024-12-06T05:00:01Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• Sequence modeling of higher-order wave modes of binary black hole mergers [0.0]
  準円、回転、非精密な二元ブラックホールの融合による高次重力波モードは、これらの系の非線形力学に関する重要な情報を符号化する。 我々はこれらの波形をトランスフォーマーアーキテクチャを用いてモデル化し、リングダウンによる晩期から晩期までの進化を目標にしている。 以上の結果から,変圧器を用いたモデルでは,双対ブラックホール融合の非線形ダイナミクスを高精度に捉えることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-05T18:00:11Z)
• Randomized Exploration for Reinforcement Learning with Multinomial Logistic Function Approximation [8.274693573069442]
  多項ロジスティック(MNL)関数近似を用いた強化学習について検討した。 頻繁な後悔の保証を有するランダムな探索を伴う確率的効率のアルゴリズムを提案する。 数値実験により提案アルゴリズムの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-30T15:39:19Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)
• Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
  自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。 臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
  論文  参考訳（メタデータ） (2023-09-21T18:11:04Z)
• Efficient Context-Aware Network for Abdominal Multi-organ Segmentation [8.92337236455273]
  腹腔内多臓器分画を効果的かつ効果的に行うための網羅的粗粒化フレームワークを開発した。 デコーダモジュールでは、k*k*1のスライス内畳み込みと1*1*kのスライス間畳み込みによる異方性畳み込みが、負担を軽減するように設計されている。 コンテキストブロックに対して、異方性と長距離のコンテキスト情報をキャプチャするためのストリッププーリングモジュールを提案する。
  論文  参考訳（メタデータ） (2021-09-22T09:05:59Z)
• Compressing 1D Time-Channel Separable Convolutions using Sparse Random Ternary Matrices [65.4388266814055]
  1次元時間チャネル分離可能な畳み込みの1x1-畳み込みを、定数でスパースな乱数三元行列で-1,0,+1$の重みで置き換える。 Google Speech Commands v1のコマンド認識のために、最新の精度を同じネットワークサイズで97.21%$から97.41%$に改善します。 librispeech上での音声認識では、トレーニングすべき重みの数は半分になり、浮動小数点ベースラインの単語誤り率の約1%を犠牲にします。
  論文  参考訳（メタデータ） (2021-03-31T15:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。