論文の概要: SACQ: Structured Decoding with Memory-Conditioned Refinement for Long-Horizon Forecasting
- arxiv url: http://arxiv.org/abs/2610.11170v1
- Date: Thu, 08 Oct 2026 03:25:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.765926
- Title: SACQ: Structured Decoding with Memory-Conditioned Refinement for Long-Horizon Forecasting
- Title（参考訳）: SACQ: 長期予測のためのメモリ依存リファインメントによる構造化デコーディング
- Abstract要約: 長期時系列予測(LTSF)モデルは、主にフラットなリードアウトヘッドによって終了されるパッチベースのエンコーダを使用する。
我々は,エンコーダを変更せずにフラットな読み出しを置き換えるプラグイン構造予測ヘッドであるSACQを提案する。
- 参考スコア（独自算出の注目度）: 13.533093616207971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term time series forecasting (LTSF) models predominantly employ patch-based encoders terminated by a flatten readout head that maps the entire encoded historical memory to all future steps through a single shared projection. This implicit coupling of future positions obscures position-specific historical-to-future alignment and amplifies sensitivity to corrupted inputs and extreme supervision noise. We present SACQ, a plug-in structured prediction head that replaces flatten readout while keeping the encoder unchanged. SACQ adopts a two-stage decoding pipeline: it first establishes a coarse patch-grid forecast scaffold, then refines each future position through cross-attention over historical memory and merges the attention-derived correction with the coarse scaffold via a learned per-patch gate. To stabilize optimization under long horizons and noisy labels, we further propose a batch-adaptive scaled log-cosh loss that automatically calibrates robustness to the current residual scale, suppressing outlier gradients while preserving MSE-like sensitivity for typical errors. SACQ attains top-tier test MSE/MAE across PatchTST, DLinear, and patch-Mamba backbones with only modest incremental overhead in parameters and latency. Under inference-time input corruption and training-set label-noise stress tests, SACQ substantially outperforms flatten readouts, with ablation studies validating each architectural component.
- Abstract（参考訳）: 長期時系列予測(LTSF)モデルは、主に、平らな読み出しヘッドによって終了されるパッチベースのエンコーダを使用し、エンコードされた履歴メモリ全体を、単一の共有プロジェクションを通じて全ての将来のステップにマッピングする。
この将来の位置の暗黙的な結合は、位置固有の歴史的・未来的なアライメントを曖昧にし、破損した入力に対する感度と極端な監視ノイズを増幅する。
我々は,エンコーダを変更せずにフラットな読み出しを置き換えるプラグイン構造予測ヘッドであるSACQを提案する。
SACQは2段階のデコードパイプラインを採用しており、まずは粗いパッチグリッド予測スキャフォールドを確立し、その後、履歴メモリを横断して各将来の位置を洗練し、学習されたパッチごとのゲートを介して粗いスキャフォールドに注意由来の補正をマージする。
長い水平線とノイズラベルの下での最適化を安定化するため,MSEのような感度を保ちながら,現在の残留スケールにロバスト性を自動的に校正するバッチ適応スケールのログコッシュ損失を提案する。
SACQは、PatchTST、DLinear、patch-MambaバックボーンにまたがるトップレベルのテストMSE/MAEを実現する。
SACQは、推論時間入力の破損とトレーニングセットのラベルノイズテストの下で、各アーキテクチャコンポーネントを検証するアブレーション研究により、フラットな読み出しを著しく上回っている。
関連論文リスト
- CARE: A Lightweight Plug-in Gated Correction and Uncertainty-aware Module for Long-term Time Series Forecasting [2.6765043621731355]
CARE(Corrective branch with Aligned context and Relative-error Estimation)は、アーキテクチャの再設計なしに決定論的予測を拡張できる軽量プラグインである。
CAREは、予測水平線に合うように歴史的コンテキストを再サンプリングし、この整列した履歴から残差補正パターンを学習し、スケールアウェアの有界更新を適用する。
そのリスクゲートは、高いエラー領域を確実に識別し、プランナーにステップ毎の信頼信号を提供する。
論文 参考訳（メタデータ） (2026-10-08T03:23:39Z) - Bayesian Entropy-based Reordering for Calibrated Diffusion Language Models [1.888263220307026]
我々は,トークンのコミットメントを導くために予測の不確実性を利用するポストホックベイズ復号フレームワークBayesERを紹介する。
そこで,BayesERは,一般的な復号方式と比較して精度を保ちつつ,シーケンスレベルの校正誤差を低減できることを示す。
論文 参考訳（メタデータ） (2026-10-04T11:13:21Z) - DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。
DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
論文 参考訳（メタデータ） (2026-07-07T17:29:01Z) - Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。
圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。
歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
論文 参考訳（メタデータ） (2026-06-05T17:16:21Z) - Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation [15.129362213838974]
2つのコンポーネントを持つトレース対応復号化フレームワークを提案する。
まず、時間空間並列復号(TSPD)は、トークンが収束し、安全に固定できるかどうかを決定するために、信頼、エントロピー、運動量を含む、トーケン軌道毎の特徴を消費する軽量な時間空間コントローラを使用する。
第二に、CE(Confidence Extrapolation)は、トレーニング不要な状態空間モジュールで、前向きな決定を支援するために、不確実性を伴う将来のロジットトレンドを予測する。
論文 参考訳（メタデータ） (2026-05-29T02:29:28Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。
本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
論文 参考訳（メタデータ） (2026-04-25T17:38:51Z) - Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。
LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。
原子のコミットメントの前に、言語や構造的受容の境界を画定する。
論文 参考訳（メタデータ） (2026-03-05T18:25:26Z) - TS-Memory: Plug-and-Play Memory for Time Series Foundation Models [63.21390142212087]
Time Series Foundation Models (TSFM) は大規模な事前訓練を通じて強力なゼロショット予測を実現する。
パラメトリック適応は破滅的な忘れを招き、非パラメトリック検索は予測を改善するが、データストア検索によってレイテンシが高くなる。
本稿では, TSFM を拡張した軽量メモリアダプタ TS-Memory としてParametric Memory Distillation を提案し,実装する。
論文 参考訳（メタデータ） (2026-02-12T04:16:19Z) - EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。
これは、パッチの計算上の利点を維持しながら、時間構造を保存する。
長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
論文 参考訳（メタデータ） (2025-09-30T12:09:56Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。