論文の概要: Learning the Koopman Operator using Attention Free Transformers

• arxiv url: http://arxiv.org/abs/2606.23957v1
• Date: Mon, 22 Jun 2026 21:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.69387
• Title: Learning the Koopman Operator using Attention Free Transformers
• Title（参考訳）: 注意自由変換器を用いたクープマン演算子の学習
• Abstract要約: クープマン予測をより堅牢にする2つの相補的成分を導入する。 まず注意のない潜伏メモリ(AFT)ブロックを追加し、過去の潜伏者の短いウィンドウを集約し、クープマンの更新毎に修正潜伏者を生成する。 第二に、動的再符号化: 遅延ドリフトとプロジェクト予測を自動エンコーダ多様体に戻す、軽量でオンラインな変更点トリガを提案する。
• 参考スコア（独自算出の注目度）: 0.3848364262836075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning Koopman operators with autoencoders enables linear prediction in a latent space, but long-horizon rollouts often drift off the learned manifold, leading to phase and amplitude errors on systems with switching, continuous spectra, or strong transients. We introduce two complementary components that make Koopman predictors more robust. First, we add an attention-free latent memory (AFT) block that aggregates a short window of past latents to produce a corrected latent before each Koopman update. Unlike multi-head attention, AFT operates in linear time and adds only $\approx$30k parameters ($3d^2 + T^2$, fewer than matched multi-head attention), yet captures the local temporal context needed to suppress error divergence. Second, we propose dynamic re-encoding: lightweight, online change-point triggers (EWMA, CUSUM, and sequential two-sample tests) that detect latent drift and project predictions back onto the autoencoder manifold. Across three benchmark systems -- Duffing oscillator, Repressilator, IRMA -- our model consistently reduces error accumulation compared to a Koopman autoencoder and matched-capacity multi-head attention. We also compare against GRU and Transformer autoencoders, evaluated both from initial conditions and with a 50-step context, and find that Koopman+AFT (with optional re-encoding) attains markedly lower long-horizon error while maintaining lower inference latency. We report improvements over horizons up to 1000 steps, together with ablations over trigger policies. The result is a fast, compact predictor that stays on the learned manifold over long horizons.
• Abstract（参考訳）: オートエンコーダを用いたクープマン作用素の学習は、潜在空間での線形予測を可能にするが、長い水平ロールアウトはしばしば学習多様体から逸脱し、スイッチング、連続スペクトル、強い過渡度を持つ系の位相誤差と振幅誤差をもたらす。 クープマン予測をより堅牢にする2つの相補的成分を導入する。 まず注意のない潜伏メモリ(AFT)ブロックを追加し、過去の潜伏者の短いウィンドウを集約して、Koopmanの更新毎に修正潜伏者を生成する。 マルチヘッドアテンションとは異なり、AFTは線形時間で動作し、$\approx$30kパラメータ(3d^2 + T^2$、マッチングされたマルチヘッドアテンションよりも少ない)のみを追加するが、エラーの発散を抑制するのに必要な時間的コンテキストをキャプチャする。 第二に、動的再符号化を提案する: 軽量なオンライン変更点トリガ(EWMA、CUSUM、シーケンシャル2サンプルテスト)は、遅延ドリフトとプロジェクト予測をオートエンコーダ多様体に戻す。 3つのベンチマークシステム – ダッフィング発振器,リプレッシレータ,IRMA – にわたって,私たちのモデルは,クープマンオートエンコーダや一致容量マルチヘッドアテンションと比較して,エラーの蓄積を一貫して低減します。 また、GRUとTransformerのオートエンコーダを比較し、初期条件と50ステップのコンテキストの両方から評価し、Koopman+AFT(オプション再エンコード)が低い推論レイテンシを維持しながら、かなり低い長水平誤差を実現していることを確認した。 我々は、最大1000ステップの地平線の改善とトリガーポリシーの廃止について報告する。 結果は、長い地平線上の学習多様体に留まる高速でコンパクトな予測器である。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Precision Tracked Transformer via Kalman Filtering, Kriging and Process Noise [11.579218102536762]
  Transformerは現代のAIの基礎的なビルディングブロックだが、不確実性の原則的扱いは提供していない EmphBayesian Filtering Transformer (BFT) の例を示す。 BFTは任意のトランスフォーマー層を無視可能なオーバーヘッドで置き換える。
  論文  参考訳（メタデータ） (2026-05-12T22:22:15Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• KoopmanFlow: Spectrally Decoupled Generative Control Policy via Koopman Structural Bias [31.486395926173838]
  Generative Control Policies(GCP)は、ロボット操作において大きな可能性を秘めているが、安定なグローバルモーションと高周波局所補正を同時にモデル化するのに苦労している。 クープマンに着想を得た構造的帰納バイアスによって導かれるパラメータ効率の良い生成ポリシーであるクープマンフローを紹介する。
  論文  参考訳（メタデータ） (2026-03-14T06:23:07Z)
• Surprised by Attention: Predictable Query Dynamics for Time Series Anomaly Detection [1.7751300245073598]
  AxonADは、マルチヘッドアテンションクエリの進化を短い水平方向予測可能なプロセスとして扱う教師なし検出器である。 テール集約型クエリミスマッチスコアは、最近のタイムステップで予測されたクエリとターゲットクエリの相違を測定する。 インターバルアノテーションを用いた車内テレメトリでは、AxonADは強力なベースライン上でのランキング品質と時間的ローカライゼーションを改善している。
  論文  参考訳（メタデータ） (2026-03-13T11:40:51Z)
• PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
  ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
  論文  参考訳（メタデータ） (2025-11-14T05:56:47Z)
• Pi-Transformer: A Physics-informed Attention Mechanism for Time Series Anomaly Detection [3.8673630752805437]
  2つの注意経路を持つ物理インフォーム変換器であるPi-Transformerを提案する。 このモデルは、アライメント重み付けされた再構成信号と、タイミングと位相破壊を強調するミスマッチ信号を組み合わせる。 Pi-Transformerは最先端または競争性の高いF1を実現し、特にタイミングと位相破壊異常に強い。
  論文  参考訳（メタデータ） (2025-09-24T10:47:48Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。