論文の概要: An Input-Dependent Readout Phase for Resonant Sequence Models

• arxiv url: http://arxiv.org/abs/2610.12496v1
• Date: Sat, 26 Sep 2026 15:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.439158
• Title: An Input-Dependent Readout Phase for Resonant Sequence Models
• Title（参考訳）: 共振周波数モデルに対する入力依存読み出し位相
• Abstract要約: 固定サイズ状態のシーケンスモデルは、注意の二次的なコストを避けるが、設計上の選択に直面している。 入力依存状態遷移は、FFTベースのトレーニングのコストでコンテンツ依存メモリを提供する。 固定遷移は、O(T log T)畳み込みパスを保持するが、入力毎に同じ方法でメモリを読み取る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence models with a fixed-size state avoid the quadratic cost of attention, but face a design choice. An input-dependent state transition gives content-dependent memory at the cost of FFT-based training, while a fixed transition keeps the O(T log T) convolutional path but reads memory the same way for every input. ResonatorLM, a recent model of the second kind, reads a bank of damped complex oscillators through a fixed learned phase per head. We make that readout phase a function of the current token, which adds input dependence to the read only, keeps the convolution exact, and costs 0.2 percent more parameters. An analysis of the untrained bank shows that phase does encode elapsed time, but an ordinary token falls below the background within 2-8 steps and no choice of damping extends linear reconstruction beyond about 16 tokens. In 6M-parameter character-level models on WikiText-2, the input-dependent phase matches the original at the training length and removes its failure beyond it: trained on 256 tokens and tested on 1024, perplexity falls from 12.81 to 3.76. We trace the failure to long-memory heads that accumulate more history than training exposed them to. The learned phase tracks the current character rather than distance and does not improve retrieval.
• Abstract（参考訳）: 固定サイズ状態のシーケンスモデルは、注意の二次的なコストを避けるが、設計上の選択に直面している。 入力依存状態遷移は、FFTベースのトレーニングのコストでコンテンツ依存メモリを与え、固定遷移はO(T log T)畳み込みパスを保持するが、入力毎に同じ方法でメモリを読み取る。 共振器LM(ResonatorLM)は、2番目のモデルの最近のモデルで、1頭あたりの一定の学習位相を通して減衰した複素振動子のバンクを読み取る。 我々は、リードアウトフェーズを現在のトークンの関数とし、読み取りのみへの入力依存を追加し、畳み込みを正確に保ち、パラメータを0.2%増やします。 訓練されていない銀行の分析によると、位相は経過した時間をエンコードするが、通常のトークンは2～8ステップ以内に背景より下降し、減衰の選択は16トークン以上の線形再構成を延長しない。 WikiText-2の6Mパラメータ文字レベルモデルでは、入力依存フェーズはトレーニング長で元のものと一致し、その失敗を除去する:256トークンで訓練され、1024年にテストされ、パープレキシティは12.81から3.76に低下する。 私たちは、トレーニングよりも多くの履歴を蓄積する長期メモリヘッドの障害をトレースします。 学習したフェーズは、距離ではなく現在のキャラクタを追跡し、検索を改善しない。

関連論文リスト

• Rethinking the Roles of Diffusion and Decoding: Predictive-State Flows for Parallel Language Generation [12.46748794254694]
  連続拡散言語モデルでは、拡散先行によって生成される潜水剤はほとんど決定論的にトークンにマッピングされる。 ブロックにシーケンスを分割し、各ブロックを前回のコンテキストからのみ計算された予測状態に関連付ける予測状態フローを導入する。 この設計は、Lトークンレベル状態からKL予測状態への拡散を減少させ、L/Kへのトークンレベルシーケンシャル深さを減少させる。
  論文  参考訳（メタデータ） (2026-10-09T02:43:30Z)
• Trainable Quantum-Native Language Models: Dissipative Memory, Capacity Limits, and Hardware Validation [0.0]
  隠れ状態が小さな量子レジスタであり、遷移がトークン条件の量子チャネルで学習される言語モデルについて検討する。 IBM Heronハードウェアでは、最大12トークンのプレフィックスにまたがる12/12回路の均一なヌルに対して、計算ベースのメモリレジスタ分布が信号を示す。
  論文  参考訳（メタデータ） (2026-10-08T23:29:36Z)
• A Quantum Phase-based Comparator [85.68182704633898]
  本稿では,相対位相の2つの値を比較する量子位相ベースの比較器(QPC)について紹介する。 この回路は2つの位相を配置し、1対のアダマール門の間にある反対の標識で入力する。 決定が与えられた相分離で取るショットを定量化する。
  論文  参考訳（メタデータ） (2026-09-21T18:12:56Z)
• Trading Depth for Time in Recurrent Transformers [61.2977190038771]
  リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-18T10:34:51Z)
• Improving Few-Step Language Flows with Untied Self-Conditioning [17.95725125716772]
  フローマッチング言語モデルは、すべてのトークン位置を並列に洗練し、遅延のためのサンプリングステップを交換することができる。 我々は、この劣化の原因を、前述の自己条件における列車間ミスマッチに遡る。 このミスマッチは、自己条件入力とソルバ更新の両方を劣化させ、モデル自身の構造から各修正を導出することを示す。
  論文  参考訳（メタデータ） (2026-08-23T06:46:17Z)
• The Orthogonalized Read Is a Removable Training Scaffold for Recurrent Memory [0.0]
  効果は再現されるが、メモリ改善ではない。 この任務の訓練は、急激な脱出に続き、長い確率の台地である。 公開された利益の多くは、アーキテクチャをまったく必要としない。
  論文  参考訳（メタデータ） (2026-07-02T18:54:23Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Adaptive Memory Decay for Log-Linear Attention [1.0099625992507715]
  シーケンスモデルは、メモリ容量と計算効率の根本的なトレードオフに直面している。 ログ線形の注意は、Fenwickツリー階層をまたいでメモリを整理することで、このトレードオフをナビゲートする。 我々は、軽量な2層構造を用いて入力から直接学習し、位置よりもコンテンツに適応する、トーケン毎のレベル減衰を生成することを提案する。
  論文  参考訳（メタデータ） (2026-05-07T21:05:28Z)
• CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization [122.88484422855934]
  本稿では,MeanFlowデコーダを備えた1次元因果画像トークンであるCaTokを紹介する。 時間間隔でトークンを選択することで、CaTokは高速なワンステップ生成と高忠実なマルチステップサンプリングの両方をサポートする因果1D表現を学ぶ。 実験により、CaTokはImageNet再構成の最先端の結果を達成し、0.75 FID、22.53 PSNR、0.674 SSIMに達した。
  論文  参考訳（メタデータ） (2026-03-06T16:39:17Z)
• Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model [69.79418000132995]
  AliTokはトークンシーケンスの依存性構造を変更する新しいアラインド・トークンライザである。 AliTokは177Mパラメータしか持たない標準的なデコーダのみの自己回帰モデルで、ImageNet-256ベンチマークで1.44のgFIDと319.5のISを達成している。
  論文  参考訳（メタデータ） (2025-06-05T17:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。