論文の概要: Sequence Modeling with Spectral Mean Flows

• arxiv url: http://arxiv.org/abs/2510.15366v1
• Date: Fri, 17 Oct 2025 06:56:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.503926
• Title: Sequence Modeling with Spectral Mean Flows
• Title（参考訳）: スペクトル平均流を用いたシーケンスモデリング
• Authors: Jinwoo Kim, Max Beier, Petar Bevanda, Nayun Kim, Seunghoon Hong,
• Abstract要約: ニューラルネットワークを用いたシーケンスモデリングの鍵となる問題は、高非線形で確率的な状態ダイナミクスをどのように表現し、学習するかである。 隠れマルコフテンソル(HMM)の演算子理論的ビューに基づく新しいシーケンスモデリング手法を提案する。 生成過程は、列の空間における最大平均不一致(MMD)勾配フローとして定義される。
• 参考スコア（独自算出の注目度）: 18.38715347739777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key question in sequence modeling with neural networks is how to represent and learn highly nonlinear and probabilistic state dynamics. Operator theory views such dynamics as linear maps on Hilbert spaces containing mean embedding vectors of distributions, offering an appealing but currently overlooked perspective. We propose a new approach to sequence modeling based on an operator-theoretic view of a hidden Markov model (HMM). Instead of materializing stochastic recurrence, we embed the full sequence distribution as a tensor in the product Hilbert space. A generative process is then defined as maximum mean discrepancy (MMD) gradient flow in the space of sequences. To overcome challenges with large tensors and slow sampling convergence, we introduce spectral mean flows, a novel tractable algorithm integrating two core concepts. First, we propose a new neural architecture by leveraging spectral decomposition of linear operators to derive a scalable tensor network decomposition of sequence mean embeddings. Second, we extend MMD gradient flows to time-dependent Hilbert spaces and connect them to flow matching via the continuity equation, enabling simulation-free learning and faster sampling. We demonstrate competitive results on a range of time-series modeling datasets. Code is available at https://github.com/jw9730/spectral-mean-flow.
• Abstract（参考訳）: ニューラルネットワークを用いたシーケンスモデリングにおける重要な疑問は、高非線形で確率的な状態ダイナミクスをどのように表現し、学習するかである。 作用素理論はヒルベルト空間上の線型写像のような力学を、分布の平均埋め込みベクトルを含むものとみなし、魅力的だが現在見過ごされている視点を提供する。 本稿では,隠れマルコフモデル (HMM) の演算子理論的視点に基づくシーケンスモデリングの新しい手法を提案する。 確率的再帰を実体化する代わりに、全列分布を積ヒルベルト空間のテンソルとして埋め込む。 生成過程は、列の空間における最大平均不一致(MMD)勾配フローとして定義される。 大きなテンソルとサンプリング収束の遅い課題を克服するため、スペクトル平均流を導入し、2つのコア概念を統合する新しいトラクタブルアルゴリズムを提案する。 まず,線形作用素のスペクトル分解を利用して,配列平均埋め込みのスケーラブルなテンソルネットワーク分解を導出するニューラルアーキテクチャを提案する。 第2に、MDD勾配流を時間依存ヒルベルト空間に拡張し、連続性方程式を通したフローマッチングに接続し、シミュレーション不要な学習と高速サンプリングを可能にする。 時系列モデリングデータセットにおける競合結果を示す。 コードはhttps://github.com/jw9730/spectral-mean-flowで入手できる。

関連論文リスト

• Hierarchical Stochastic Differential Equation Models for Latent Manifold Learning in Neural Time Series [0.0]
  本稿では計算効率と解釈可能性のバランスをとる新しい階層微分方程式(SDE)モデルを提案する。 我々は、トレーニングと推論の手順を導出し、推論の計算コストが観測データの長さと線形にスケールすることを示す。
  論文  参考訳（メタデータ） (2025-07-29T06:51:58Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Reduced-Order Neural Operators: Learning Lagrangian Dynamics on Highly Sparse Graphs [19.1312659245072]
  我々は,データ駆動型離散化不変フレームワークであるGIOROMについて,低次モデリング(ROM)によるラグランジアンシミュレーションを高速化する。 我々は、PDEソリューション演算子のデータ駆動グラフに基づくニューラル近似を利用する。 GIOROMは6.6$times$-32$times$の入力次元の縮小を実現し、多様なラグランジアン体制における高忠実度再構成を維持している。
  論文  参考訳（メタデータ） (2024-07-04T13:37:26Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back [84.61160272624262]
  この畳み込み操作に基づいて,タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。 タンジェントバンドルフィルタは、スカラー多様体フィルタ、グラフフィルタ、標準畳み込みフィルタを連続的に一般化するスペクトル表現を許容する。 提案したアーキテクチャが様々な学習課題に与える影響を数値的に評価する。
  論文  参考訳（メタデータ） (2023-03-20T17:57:15Z)
• Stochastic Mirror Descent in Average Ensemble Models [38.38572705720122]
  ミラー降下 (SMD) はトレーニングアルゴリズムの一般的なクラスであり、特別な場合として、祝い勾配降下 (SGD) を含む。 本稿では,平均場アンサンブルモデルにおけるミラーポテンシャルアルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2022-10-27T11:04:00Z)
• Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
  本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。 ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。 ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-04-23T23:16:47Z)
• Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
  実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。 時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。 非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
  論文  参考訳（メタデータ） (2020-07-25T04:16:34Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。