論文の概要: Learning the Koopman Operator using Attention Free Transformers

• arxiv url: http://arxiv.org/abs/2606.23957v1
• Date: Mon, 22 Jun 2026 21:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.69387
• Title: Learning the Koopman Operator using Attention Free Transformers
• Title（参考訳）: 注意自由変換器を用いたクープマン演算子の学習
• Authors: Mohammed Nagdi, Evangelos-Marios Nikolados, Alexey Yermakov, Mars Gao, Nathan Kutz, Filippo Menolascina,
• Abstract要約: クープマン予測をより堅牢にする2つの相補的成分を導入する。 まず注意のない潜伏メモリ(AFT)ブロックを追加し、過去の潜伏者の短いウィンドウを集約し、クープマンの更新毎に修正潜伏者を生成する。 第二に、動的再符号化: 遅延ドリフトとプロジェクト予測を自動エンコーダ多様体に戻す、軽量でオンラインな変更点トリガを提案する。
• 参考スコア（独自算出の注目度）: 0.3848364262836075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning Koopman operators with autoencoders enables linear prediction in a latent space, but long-horizon rollouts often drift off the learned manifold, leading to phase and amplitude errors on systems with switching, continuous spectra, or strong transients. We introduce two complementary components that make Koopman predictors more robust. First, we add an attention-free latent memory (AFT) block that aggregates a short window of past latents to produce a corrected latent before each Koopman update. Unlike multi-head attention, AFT operates in linear time and adds only $\approx$30k parameters ($3d^2 + T^2$, fewer than matched multi-head attention), yet captures the local temporal context needed to suppress error divergence. Second, we propose dynamic re-encoding: lightweight, online change-point triggers (EWMA, CUSUM, and sequential two-sample tests) that detect latent drift and project predictions back onto the autoencoder manifold. Across three benchmark systems -- Duffing oscillator, Repressilator, IRMA -- our model consistently reduces error accumulation compared to a Koopman autoencoder and matched-capacity multi-head attention. We also compare against GRU and Transformer autoencoders, evaluated both from initial conditions and with a 50-step context, and find that Koopman+AFT (with optional re-encoding) attains markedly lower long-horizon error while maintaining lower inference latency. We report improvements over horizons up to 1000 steps, together with ablations over trigger policies. The result is a fast, compact predictor that stays on the learned manifold over long horizons.
• Abstract（参考訳）: オートエンコーダを用いたクープマン作用素の学習は、潜在空間での線形予測を可能にするが、長い水平ロールアウトはしばしば学習多様体から逸脱し、スイッチング、連続スペクトル、強い過渡度を持つ系の位相誤差と振幅誤差をもたらす。 クープマン予測をより堅牢にする2つの相補的成分を導入する。 まず注意のない潜伏メモリ(AFT)ブロックを追加し、過去の潜伏者の短いウィンドウを集約して、Koopmanの更新毎に修正潜伏者を生成する。 マルチヘッドアテンションとは異なり、AFTは線形時間で動作し、$\approx$30kパラメータ(3d^2 + T^2$、マッチングされたマルチヘッドアテンションよりも少ない)のみを追加するが、エラーの発散を抑制するのに必要な時間的コンテキストをキャプチャする。 第二に、動的再符号化を提案する: 軽量なオンライン変更点トリガ(EWMA、CUSUM、シーケンシャル2サンプルテスト)は、遅延ドリフトとプロジェクト予測をオートエンコーダ多様体に戻す。 3つのベンチマークシステム – ダッフィング発振器,リプレッシレータ,IRMA – にわたって,私たちのモデルは,クープマンオートエンコーダや一致容量マルチヘッドアテンションと比較して,エラーの蓄積を一貫して低減します。 また、GRUとTransformerのオートエンコーダを比較し、初期条件と50ステップのコンテキストの両方から評価し、Koopman+AFT(オプション再エンコード)が低い推論レイテンシを維持しながら、かなり低い長水平誤差を実現していることを確認した。 我々は、最大1000ステップの地平線の改善とトリガーポリシーの廃止について報告する。 結果は、長い地平線上の学習多様体に留まる高速でコンパクトな予測器である。

関連論文リスト

• Precision Tracked Transformer via Kalman Filtering, Kriging and Process Noise [11.579218102536762]
  Transformerは現代のAIの基礎的なビルディングブロックだが、不確実性の原則的扱いは提供していない EmphBayesian Filtering Transformer (BFT) の例を示す。 BFTは任意のトランスフォーマー層を無視可能なオーバーヘッドで置き換える。
  論文  参考訳（メタデータ） (2026-05-12T22:22:15Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• KoopmanFlow: Spectrally Decoupled Generative Control Policy via Koopman Structural Bias [31.486395926173838]
  Generative Control Policies(GCP)は、ロボット操作において大きな可能性を秘めているが、安定なグローバルモーションと高周波局所補正を同時にモデル化するのに苦労している。 クープマンに着想を得た構造的帰納バイアスによって導かれるパラメータ効率の良い生成ポリシーであるクープマンフローを紹介する。
  論文  参考訳（メタデータ） (2026-03-14T06:23:07Z)
• Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection [1.7751300245073598]
  AxonADは、マルチヘッドアテンションクエリの進化を短い水平方向予測可能なプロセスとして扱う教師なし検出器である。 テール集約型クエリミスマッチスコアは、最近のタイムステップで予測されたクエリとターゲットクエリの相違を測定する。 インターバルアノテーションを用いた車内テレメトリでは、AxonADは強力なベースライン上でのランキング品質と時間的ローカライゼーションを改善している。
  論文  参考訳（メタデータ） (2026-03-13T11:40:51Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。