論文の概要: Attention as an Adaptive Filter

• arxiv url: http://arxiv.org/abs/2509.04154v1
• Date: Thu, 04 Sep 2025 12:29:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.156524
• Title: Attention as an Adaptive Filter
• Title（参考訳）: 適応フィルタとしての注意
• Authors: Peter Racioppo,
• Abstract要約: 本稿では,新しいアダプティブフィルタアテンション機構であるアダプティブフィルタアテンション(AFA)を紹介する。 AFAは学習可能な動的モデルを直接注意重みの計算に組み込む。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Adaptive Filter Attention (AFA), a novel attention mechanism that incorporates a learnable dynamics model directly into the computation of attention weights. Rather than comparing queries and keys directly, we model the input sequence as discrete observations of a linear stochastic differential equation (SDE). By imposing a linear dynamics model with simultaneously diagonalizable state matrices and noise covariances, we can make use of a closed-form solution to the differential Lyapunov equation to efficiently propagate pairwise uncertainties through the dynamics. Attention naturally arises as the maximum likelihood solution for this linear SDE, with attention weights corresponding to robust residual-based reweightings of the propagated pairwise precisions. Imposing an additional constraint on the state matrix's eigenvalues leads to a simplified variant with the same computational and memory complexity as standard attention. In the limit of vanishing dynamics and process noise, and using a small-angle approximation, we recover ordinary dot-product attention.
• Abstract（参考訳）: 本稿では,学習可能な動的モデルを注意重みの計算に直接組み込む新しい注意機構であるAdaptive Filter Attention (AFA)を紹介する。 クエリとキーを直接比較するのではなく、線形確率微分方程式(SDE)の離散的な観測として入力シーケンスをモデル化する。 線形力学モデルに対角化可能な状態行列とノイズ共分散を同時に付与することにより、微分リャプノフ方程式に対する閉形式解を用いて、力学を通してペアワイズ不確かさを効率的に伝播させることができる。 注意は、この線形SDEの最大極大解として自然に生じ、プロパゲート対精度の頑健な残差に基づく再重み付けに対応する注意重みを持つ。 状態行列の固有値にさらなる制約を加えると、標準的な注意と同じ計算量とメモリの複雑さを持つ単純化された変種が導かれる。 ダイナミックスとプロセスノイズの消失の限界において、小角近似を用いて、通常の点積の注意を回復する。

関連論文リスト

• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Nonparametric learning of stochastic differential equations from sparse and noisy data [2.389598109913754]
  強い構造仮定なしでデータから直接ドリフト関数を学習する。 我々は,新しいモンテカルロ法(SMC)を用いた期待最大化法(EM)アルゴリズムを開発した。 EM-SMC-RKHS法により、低データ状態における力学系のドリフト関数を正確に推定できる。
  論文  参考訳（メタデータ） (2025-08-15T17:01:59Z)
• Self-Supervised Coarsening of Unstructured Grid with Automatic Differentiation [55.88862563823878]
  本研究では,微分可能物理の概念に基づいて,非構造格子を階層化するアルゴリズムを提案する。 多孔質媒質中のわずかに圧縮可能な流体流を制御した線形方程式と波動方程式の2つのPDE上でのアルゴリズムの性能を示す。 その結果,検討したシナリオでは,関心点におけるモデル変数のダイナミクスを保ちながら,格子点数を最大10倍に削減した。
  論文  参考訳（メタデータ） (2025-07-24T11:02:13Z)
• Solving nonconvex Hamilton--Jacobi--Isaacs equations with PINN-based policy iteration [1.3654846342364308]
  本稿では,従来の動的プログラミングとニューラルネットワーク(PINN)を組み合わせて,非加入者ハミルトン・ヤコビ・イザック方程式を解くフレームワークを提案する。 この結果から,PINNを政策ポリシーに統合することは,高次元非加入者HJI方程式の解法として,実用的で理論的に確立された手法であることが示唆された。
  論文  参考訳（メタデータ） (2025-07-21T10:06:53Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Weak Collocation Regression for Inferring Stochastic Dynamics with L\'{e}vy Noise [8.15076267771005]
  本稿では,L'evyノイズを伴う力学を抽出するためのFokker-Planck(FP)方程式の弱い形式を提案する。 本手法は,多次元問題においても混合雑音を同時に識別することができる。
  論文  参考訳（メタデータ） (2024-03-13T06:54:38Z)
• Joint State Estimation and Noise Identification Based on Variational Optimization [8.536356569523127]
  CVIAKFと呼ばれる共役計算変分推論に基づく新しい適応カルマンフィルタ法を提案する。 CVIAKFの有効性は、目標追尾のための合成および実世界のデータセットを通して検証される。
  論文  参考訳（メタデータ） (2023-12-15T07:47:03Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• System Identification for Continuous-time Linear Dynamical Systems [0.7510165488300368]
  潜在線形力学系の連続時間への学習の一般化は、ハイブリッドカルマンフィルタの使用を拡大する可能性がある。 トグルスイッチ型遺伝回路を表す潜伏多変量Fokker-Planck SDEのパラメータを学習し,本手法を適用した。
  論文  参考訳（メタデータ） (2023-08-23T05:53:13Z)
• Effective Hamiltonian approach to the exact dynamics of open system by complex discretization approximation for environment [0.0]
  複素ガウス二次関数に基づく複素周波数空間への離散化近似法の一般化を提案する。 有効ハミルトニアンは非エルミート的であり、負の虚部を持つ複素エネルギーモードを証明できる。
  論文  参考訳（メタデータ） (2023-03-12T05:34:29Z)
• Numerical Solution of Stiff Ordinary Differential Equations with Random Projection Neural Networks [0.0]
  正規微分方程式(ODE)の解に対する乱射影ニューラルネットワーク(RPNN)に基づく数値スキームを提案する。 提案手法は剛性の影響を受けずに高い数値近似精度を示し,textttode45 と textttode15s の関数よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-03T15:49:17Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。