論文の概要: When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference

• arxiv url: http://arxiv.org/abs/2609.04490v1
• Date: Thu, 03 Sep 2026 21:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.83212
• Title: When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference
• Title（参考訳）: 量子化がメモリを壊す:低精度時間推論におけるリカレントステート書き込みバック
• Abstract要約: リカレントネットワークでは、量子化された状態は次のステップで格納され、返されるので、その状態を保存するために使われるルールは、その後の計算を変更できる。 本稿では,この規則を示すためにリカレント状態書き込みを導入し,蛍光寿命イメージングのためのコンパクトなGRUエンコーダデコーダにおいてその効果を分離する。 本研究は,低精度リカレントダイナミクスの鍵となるリカレント状態書き込みを定式化し,量子化されたリカレント推論のための中心設計として状態記憶インタフェースを同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Quantization is widely used to reduce the computational and memory demands of neural-network inference. In recurrent networks, however, the quantized state is stored and returned at the next time step, so the rule used to store that state can alter subsequent computations. Here, we introduce recurrent-state write-back to denote this rule and isolate its effect in a compact GRU encoder--decoder for fluorescence lifetime imaging, a molecular imaging modality used in quantitative biological imaging. A central task is estimating two lifetime parameters, the short-lived component τ1 and the long-lived component τ2, from high-noise time-resolved fluorescence signals. Holding the trained model fixed, replacing continuous state propagation with deterministic 4-bit state storage increases estimation errors for τ1 and τ2 by approximately 70x and 300x, respectively. Failure occurs when repeated small updates remain below the write threshold, leaving the stored state nearly fixed while the network continues to propose change. Error feedback, residual memory, and direction memory carry information from these suppressed updates across time and recover accuracy without retraining. Precision sweeps show that increasing state precision can worsen a fixed recurrent solution, while matched training shows that compatibility with the state interface can be learned. To test whether this behavior extends beyond the GRU, we repeat the post-training intervention in an independently trained LSTM, where coarse write-back reproduces the failure, error feedback restores accuracy, and state-specific interventions reveal greater sensitivity of the cell state than the hidden state. Our results establish recurrent-state write-back as a key determinant of low-precision recurrent dynamics and identify the state-storage interface as a central design consideration for quantized recurrent inference.
• Abstract（参考訳）: 量子化は、ニューラルネットワーク推論の計算とメモリ要求を減らすために広く使われている。 しかし、リカレントネットワークでは、量子化された状態は次のステップで格納され、返されるので、その状態を保存するために使われるルールは、その後の計算を変更できる。 本稿では、この規則を示すために、リカレント状態のライトバックを導入し、その効果を定量的生物学的イメージングに使用される分子イメージング法である蛍光寿命イメージングのためのコンパクトなGRUエンコーダデコーダで分離する。 中心課題は、高雑音時間分解蛍光信号から短寿命成分τ1と長寿命成分τ2の2つの寿命パラメータを推定することである。 連続状態の伝搬を決定論的4ビット状態記憶に置き換えることで, τ1 と τ2 の予測誤差を約 70x と 300x に増大させる。 フェールは、繰り返し小さな更新が書き込みしきい値以下に留まり、ネットワークが変更を提案している間、保存された状態がほぼ固定されたままであるときに発生する。 エラーフィードバック、残メモリ、方向記憶は、これらの抑圧された更新からの情報を持ち、再トレーニングせずに精度を回復する。 精度の向上は、状態の精度の向上が固定されたリカレントソリューションを悪化させる可能性があることを示し、マッチしたトレーニングは、状態インターフェースとの互換性を学ぶことができることを示している。 この動作がGRUを超えているかどうかを調べるために、我々は独立に訓練されたLSTMにおいて、粗い書き込みバックが障害を再現し、エラーフィードバックが精度を回復し、状態特異的な介入が隠れた状態よりも細胞状態の感度が高いことを示す、訓練後の介入を繰り返します。 本研究は,低精度リカレントダイナミクスの鍵となるリカレント状態書き込みを定式化し,量子化されたリカレント推論のための中心設計として状態記憶インタフェースを同定する。

関連論文リスト

• ReCal3R: Reliability-Calibrated Learning Rates for Streaming 3D Reconstruction [57.10941470313318]
  ストリーミング3D再構成は、リニア時間とバウンドメモリで長い画像ストリームを処理するために、コンパクトなリカレントシーン状態に依存する。 本稿では,ReCal3Rを提案する。ReCal3Rは3次元再構成を再現するための信頼性校正学習率法である。
  論文  参考訳（メタデータ） (2026-07-06T17:35:18Z)
• LCPNet: Latent Consistent Proximal Unfolding Network for Infrared Small Target Detection [50.3892176822492]
  赤外線小目標検出(IRSTD)は、複雑な赤外背景から長距離小目標を特定することを目的としている。 深層学習法は、識別的画像-マスクマッピングを学習することでIRSTDを改善した。 深層展開法は、モデル駆動イテレーションをニューラルネットワークに埋め込むことによって、この問題に部分的に対処する。 これらの制約に対処するために,Latent Consistent Proximal Unfolding Network (LCPNet)を提案する。
  論文  参考訳（メタデータ） (2026-07-06T02:15:09Z)
• Timestep Rescheduling in Diffusion Inversion [79.30105376216544]
  ノイズスケジューラにおける拡散時間ステップの選択が逆忠実度にどのように影響するかを示す。 本稿では,グローバルな再スケーリングとローカルな動的プログラミングに基づく再スケジューリングを統合した,シンプルで効果的な非一様タイムスケジューラを提案する。 本手法は,既存のインバージョン手法の既製の拡張として機能し,余分なパラメータや計算オーバーヘッドを必要としない。
  論文  参考訳（メタデータ） (2026-06-13T16:32:01Z)
• SinkRec: Mitigating Semantic State Sink in Long Sequence Recommendation with Memory-Conditioned Gated Delta Networks [31.41875429254432]
  セマンティックステートシンクを緩和するハイブリッドメモリ-遷移ループアーキテクチャであるSinkRecを提案する。 SinkRecは、繰り返し発生するローカルパターンを学習可能な条件記憶に外部化する。 TDGDは、メモリに隠された更新を抑え、メモリに整合した読み出し応答を除去することで、リカレント書き込みと読み出しをメモリで浄化する。
  論文  参考訳（メタデータ） (2026-06-03T09:10:06Z)
• Improving the Performance and Learning Stability of Parallelizable RNNs Designed for Ultra-Low Power Applications [1.226598527858578]
  Bistable Memory Recurrent Unit (BMRU) は、超低消費電力RNNのハードウェアとソフトウェアの共同設計を可能にするために導入された。 BMRUパフォーマンスは複雑なシーケンシャルタスクにおいて並列化可能なRNNよりも遅れている。 本稿では,永続記憶を保ちながらフローを復元し,時間経過とともにスキップ接続を生成する累積更新定式化を提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:33Z)
• Recurrent Quantum Feature Maps for Reservoir Computing [0.6299766708197881]
  我々は、固定量子回路を再利用して現在の入力と過去の出力から導出される古典的なフィードバック信号の両方を符号化する、リカレント量子特徴写像に基づく貯水池を導入する。 我々は,最近導入したCP特徴量マップを用いて,Mackey-Glass の時系列予測タスク上でモデルを評価し,従来のベースラインよりも平均二乗誤差が低いことを示す。
  論文  参考訳（メタデータ） (2026-04-03T21:33:10Z)
• Understanding Quantization of Optimizer States in LLM Pre-training: Dynamics of State Staleness and Effectiveness of State Resets [10.325245543844245]
  我々は,低精度指数移動平均 (EMA) 状態について検討し,量子化が同じ保存値に多くの名目更新を引き起こすことを示す。 本研究では,1段階の停止確率を推定し,時間の経過とともに停止する確率を推定する簡易なストールの予測モデルを構築した。 この観点は、なぜ状態リセットが低い精度で役立つのかという力学的な説明を提供する。
  論文  参考訳（メタデータ） (2026-03-17T16:14:36Z)
• Never Reset Again: A Mathematical Framework for Continual Inference in Recurrent Neural Networks [2.1838661321884443]
  リカレントニューラルネットワーク(RNN)はシーケンシャルな処理に広く用いられているが、状態飽和による連続推論による制限に直面している。 本稿では,拡張シーケンスの精度を保ちつつ,推論中のリセットの必要性を解消する適応的損失関数を提案する。
  論文  参考訳（メタデータ） (2024-12-20T15:24:28Z)
• Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
  拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。 3つの戦略を含む新しい量子化フレームワークを導入する。 このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
  論文  参考訳（メタデータ） (2024-07-28T17:46:15Z)
• Memory Efficient Neural Processes via Constant Memory Attention Block [55.82269384896986]
  CMANP(Constant Memory Attentive Neural Processs)は、NPの変種である。 我々は,CMANPが従来の手法よりもはるかにメモリ効率が良く,NPベンチマークで最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-05-23T23:10:19Z)
• EcoTTA: Memory-Efficient Continual Test-time Adaptation via Self-distilled Regularization [71.70414291057332]
  TTAは主にメモリ制限のあるエッジデバイス上で実行される。 長期的な適応は、しばしば破滅的な忘れとエラーの蓄積につながる。 本稿では,凍結したオリジナルネットワークを対象ドメインに適応させる軽量なメタネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T13:05:30Z)
• HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
  本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
  論文  参考訳（メタデータ） (2020-08-17T23:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。