論文の概要: Progressive Memory Transformer: Memory-Aware Attention for Time-Series

• arxiv url: http://arxiv.org/abs/2609.31351v1
• Date: Fri, 25 Sep 2026 14:49:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.44481
• Title: Progressive Memory Transformer: Memory-Aware Attention for Time-Series
• Title（参考訳）: プログレッシブメモリ変換器:時間系列に対するメモリアウェアアテンション
• Abstract要約: 本稿では,3つのスケールにまたがる構造的階層を独立して明示的に強制する学習フレームワークを提案する。 我々は、中規模スケールを露呈するウィンドウ整列メモリを備えたトランスフォーマーを拡張したPMTを導入する。 PMTは、グローバル、ミッドレンジ、ローカルスケールでよく探索する表現を学ぶ。
• 参考スコア（独自算出の注目度）: 0.1420934497047166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time-series carry structure simultaneously at multiple scales (fine-grained variation, mid-range motifs, and global properties) and downstream tasks operate at correspondingly different scales. Most existing self-supervised learning approaches supervise representations globally via instance-level contrastive losses and limited temporal neighborhood supervision, but do not explicitly exploit the structural hierarchy. We propose a learning framework that explicitly enforces a structural hierarchy across three scales independently: a local objective for token continuity, a mid-range objective for window-level motifs, and a global objective for sequence-level agreement. Realizing this framework requires the backbone to expose a representation at each scale; we introduce \textbf{Progressive Memory Transformer} (PMT), which augments a transformer with writable, window-aligned memory that exposes the mid-range scale alongside the token and sequence-level representations conventional transformers already provide. Across seven UCR/UEA/UCI classification benchmarks, a cue-retention probe, and forecasting benchmarks, PMT learns representations that probe well at the global, mid-range, and local scales---strong low-label classification (1--5\% labels), competitive forecasting performance across multiple horizons, and quantitative and qualitative evidence that memory states capture mid-range motifs.
• Abstract（参考訳）: 時系列は複数のスケール(細粒度の変化、中距離モチーフ、グローバルプロパティ)で同時に構造を持ち、下流タスクは異なるスケールで動作します。 既存の自己教師付き学習アプローチの多くは、インスタンスレベルのコントラスト損失と時間的地区監督の制限を通じて、グローバルに表現を監督するが、構造的階層を明示的に利用しない。 本稿では,トークン連続性の局所目的,ウィンドウレベルのモチーフの中間目標,シーケンスレベルの合意のグローバル目標という,3つの尺度にまたがる構造的階層を明示的に強制する学習フレームワークを提案する。 このフレームワークを実現するには、各スケールで表現を公開するためにバックボーンが必要である。従来のトランスフォーマーが提供するトークンやシーケンスレベルの表現とともに、中規模スケールを公開する、フレキシブルなウィンドウ整列メモリを備えたトランスフォーマーを拡張した \textbf{Progressive Memory Transformer} (PMT) を導入する。 7つのUCR/UEA/UCI分類ベンチマーク、キュー保持プローブ、および予測ベンチマークにおいて、PMTは、グローバル、ミッドレンジ、ローカルスケールでよく探索する表現を学習する。

関連論文リスト

• Trajectory Forcing: Structure-First Generation with Controllable Semantic Trajectories [62.54876287800644]
  拡散およびフローベース生成モデルは強い画像を生成するが、制御性はエンドポイント中心のままである。 最近の手法では、生成順序とプロセスの分解を利用してサンプルの品質を向上し始めているが、それでも中間状態は相互作用のオブジェクトではなく内部計算として扱われている。 本稿では、生成経路を明示的、意味的、編集可能にするトラジェクトリ中心のフレームワークであるトラジェクトリ・フォース(TF)を提案する。
  論文  参考訳（メタデータ） (2026-06-21T14:25:50Z)
• From Local Indices to Global Identifiers: Generative Reranking for Recommender Systems via Global Action Space [50.72071213515985]
  GloRankは、ローカルインデックスの選択からグローバル識別子の生成に移行する、ジェネレーティブなフレームワークである。 我々はGloRankが最先端のベースラインを一貫して上回り、コールドスタートシナリオにおいて優れたロバスト性を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-28T06:57:00Z)
• Efficiency Follows Global-Local Decoupling [62.05489838893081]
  ConvNeurは、軽量なニューラルメモリブランチがトークンの集合にグローバルなコンテキストを集約する2分岐アーキテクチャである。 学習ゲートは、グローバルなキューが目的を絞ることなく、局所的な特徴を調整できる。 標準的な分類、検出、セグメンテーションのベンチマークでは、ConvNeurは同等または低い計算で同等の選択肢にマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-03-20T02:20:16Z)
• StructSAM: Structure- and Spectrum-Preserving Token Merging for Segment Anything Models [57.674757786328236]
  StructSAMは、Segment Anything Model(SAM)に適した解像度保存型マージアンマージフレームワークである また,StructSAMはエンコーダFLOPsを25～30%削減し,mIoU/Diceに少量の低下を認めた。 また、スペクトルグラフ粗大化ビューでは、スコア誘導マージにより、ランダムまたはウィンドウ制限ベースラインと比較して、ラプラシアスペクトル歪みが有界となることを示す。
  論文  参考訳（メタデータ） (2026-03-07T18:30:58Z)
• PRISM: A hierarchical multiscale approach for time series forecasting [42.91635448262212]
  実世界の時系列には、グローバルなトレンド、局所的なきめ細かい構造、そしてその中間の複数のスケールの特徴の両方が含まれている。 本稿では,この課題に対処する新しい予測手法であるPRISMを提案する。 ベンチマークデータセットを用いた実験により、我々の手法は予測のための最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-12-31T14:51:12Z)
• BATR-FST: Bi-Level Adaptive Token Refinement for Few-Shot Transformers [2.5680214354539803]
  半ショット変換器(BATR-FST)の両レベル適応型トケリファインメントを提案する。 BATR-FSTはトークン表現を徐々に改善し、数ショット分類のための頑健な帰納バイアスを維持している。 1ショットと5ショットの両方のシナリオで優れた結果が得られ、トランスフォーマーによる数ショットの分類が改善される。
  論文  参考訳（メタデータ） (2025-09-16T07:33:21Z)
• Beyond BEV: Optimizing Point-Level Tokens for Collaborative Perception [17.654858416126093]
  協調的知覚により、エージェントは中間的特徴を交換することで知覚能力を高めることができる。 既存の手法は通常、これらの中間機能を2D Bird's-eye-view (BEV)表現として整理する。 ポイントレベル最適化トークンを利用した新しい協調認識フレームワークであるCoPLOTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T07:27:42Z)
• Multi-Scale Probabilistic Generation Theory: A Unified Information-Theoretic Framework for Hierarchical Structure in Large Language Models [1.0117553823134735]
  大規模言語モデル(LLM)は目覚ましい能力を示すが、力学レベルでは理解されていない。 本稿では,マルチスケール確率生成理論(MSPGT)を紹介する。 MSPGTは、標準言語モデリングの目的が暗黙的にマルチスケール情報圧縮を最適化することを示唆している。
  論文  参考訳（メタデータ） (2025-05-23T16:55:35Z)
• Self-Supervised Representation Learning from Temporal Ordering of Automated Driving Sequences [49.91741677556553]
  本研究では、認識タスクのための地域レベルの特徴表現を事前学習するための時間順述前文タスクであるTempOを提案する。 我々は各フレームを、オブジェクト検出やトラッキングシステムにとって自然な表現である、未順序な特徴ベクトルのセットで埋め込む。 BDD100K、nu Images、MOT17データセットの大規模な評価は、私たちのTempO事前学習アプローチがシングルフレームの自己教師型学習方法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-02-17T18:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。