論文の概要: Understanding axial attention in TSFMs through single location regression

• arxiv url: http://arxiv.org/abs/2610.40188v1
• Date: Thu, 29 Oct 2026 14:46:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.520985
• Title: Understanding axial attention in TSFMs through single location regression
• Title（参考訳）: 単一位置回帰によるTSFMの軸方向の注意の理解
• Abstract要約: 解析的に抽出可能な軸方向の注意型予測器を定式化し,その統計的特性と訓練力学を厳密に解析する。 我々は、特定の温度スケーリングに対して、射影勾配 Descent が最適なオラクルパラメータにグローバルに収束することを証明した。
• 参考スコア（独自算出の注目度）: 7.996237912176395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Time Series Foundation Models (TSFMs) increasingly rely on axial attention mechanisms, but despite their empirical success, the theoretical properties of axial attention remain largely unexplored. To bridge this gap, we extend the Single Location Regression framework introduced in Marion et al. [2025] to 2D structured data, in order to study sparse information settings where a target depends on a small number of tokens. We formulate an analytically tractable axial attention-type predictor and rigorously analyze its statistical properties and training dynamics. We prove that under a specific asymptotic regime and with knowledge of the underlying oracle parameters, our predictor achieves Bayes optimality, whereas a class of semi-linear simplifications strictly fails to do so, underlining the role of the inner non-linearity. We prove that for a specific temperature scaling, Projected Gradient Descent converges globally to the optimal oracle parameters. Extensive numerical experiments validate our theoretical findings and highlight the critical role of inverse temperature scheduling in empirical convergence.
• Abstract（参考訳）: 時系列ファウンデーションモデル(TSFM)の最近の進歩は軸方向の注意機構にますます依存しているが、その経験的成功にもかかわらず、軸方向の注意の理論的性質はほとんど解明されていない。 このギャップを埋めるために,Marion et al[2025]で導入されたSingle Location Regressionフレームワークを2次元構造化データに拡張し,ターゲットが少量のトークンに依存するスパース情報設定を研究する。 解析的に抽出可能な軸方向の注意型予測器を定式化し,その統計的特性と訓練力学を厳密に解析する。 我々は,特定の漸近的体制の下で,基礎となるオラクルパラメータの知識でベイズ最適性を達成するのに対し,半線形単純化のクラスは内的非線形性の役割を基盤として,厳密にはそれを達成できないことを証明した。 我々は、特定の温度スケーリングに対して、射影勾配 Descent が最適なオラクルパラメータにグローバルに収束することを証明した。 大規模な数値実験により、我々の理論的な知見を検証し、経験的収束における逆温度スケジューリングの重要性を強調した。

関連論文リスト

• Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories [0.0]
  最適高容量メモリ表現は平らなミニマでは形成されず、幾何学的特異点の高度に湾曲した境界で彫刻されていることを示す。 これらの結果は, 平坦なミニマでは最適な高容量メモリ表現は形成されず, 幾何学的特異点の高度に湾曲した境界で動的に彫刻されていることを示唆している。
  論文  参考訳（メタデータ） (2026-09-15T08:27:55Z)
• Learning Spatio-Temporal Foundation Models from Pure Synthetic Data [85.23980441738811]
  NeoSTは、現実バイアスに対するスケーラブルな合成学習コーパスであり、複数の将来の軌跡を反復的に生成・洗練する潜在空間推論アーキテクチャであり、構造的ダイナミクスを強調し、分散シフトの下で推論時間補正を可能にする潜在空間目的である。 様々な実世界のベンチマークによる大規模な実験は、NeoSTが様々な実世界の時間系において既存のSTFMより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-06-27T02:56:46Z)
• Ultra-Early Prediction of Tipping Points: Integrating Dynamical Measures with Reservoir Computing [26.87838356473853]
  複雑な力学系は破滅的かつ潜在的に不可逆的な状態変化を起こすことがある。 チップポイントは 理論と実用の両方の 予測問題を引き起こします 本研究では, 動的システムの安定性と感度を, 貯水池計算手法と組み合わせたモデルフリーフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-16T07:49:31Z)
• State Rank Dynamics in Linear Attention LLMs [37.607046806053035]
  州の階級階層化は、線形アテンションヘッド間で異なるスペクトル分岐によって特徴づけられる。 低ランクの頭部はモデル推論に欠かせないが、高ランクの頭部は顕著な冗長性を示す。 我々は,KVキャッシュのオーバーヘッドを38.9%削減し,モデル精度を大きく維持するゼロショット戦略であるJoint Rank-Norm Pruningを提案する。
  論文  参考訳（メタデータ） (2026-02-02T15:00:42Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
  マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。 我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
  論文  参考訳（メタデータ） (2024-02-29T18:43:52Z)
• A phase transition between positional and semantic learning in a solvable model of dot-product attention [30.96921029675713]
  学習可能な,低次元の問合せとキーデータを備えた非次元自己注意層として,高次モデルドット積注意法について検討した。 位置注意機構(それぞれの位置に基づくトークンを含む)と意味注意機構(それぞれの意味に基づいて互いに結びついているトークンを含む)と、サンプルの複雑さが増大する前者から後者への遷移が示される。
  論文  参考訳（メタデータ） (2024-02-06T11:13:54Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。