論文の概要: Spectral Generative Flow Models: A Physics-Inspired Replacement for Vectorized Large Language Models

• arxiv url: http://arxiv.org/abs/2601.08893v2
• Date: Wed, 21 Jan 2026 22:24:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 13:30:18.292959
• Title: Spectral Generative Flow Models: A Physics-Inspired Replacement for Vectorized Large Language Models
• Title（参考訳）: スペクトル生成フローモデル: ベクトル型大規模言語モデルのための物理に着想を得た置換
• Authors: Andrew Kiruluta,
• Abstract要約: 本稿では,SGFM(Spectral Generative Flow Models)を紹介する。 テキストやビデオを注意によって処理された離散トークンのシーケンスとして表現するのではなく、SGFMは生成を制約されたダイナミクスによって支配される連続フィールドの進化として扱う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Spectral Generative Flow Models (SGFMs), a physics-inspired alternative to transformer-based large language models. Instead of representing text or video as sequences of discrete tokens processed by attention, SGFMs treat generation as the evolution of a continuous field governed by constrained stochastic dynamics in a multiscale wavelet basis. This formulation replaces global attention with local operators, spectral projections, and Navier--Stokes-like transport, yielding a generative mechanism grounded in continuity, geometry, and physical structure. Our framework provides three key innovations: (i) a field-theoretic ontology in which text and video are unified as trajectories of a stochastic partial differential equation; (ii) a wavelet-domain representation that induces sparsity, scale separation, and computational efficiency; and (iii) a constrained stochastic flow that enforces stability, coherence, and uncertainty propagation. Together, these components define a generative architecture that departs fundamentally from autoregressive modeling and diffusion-based approaches. SGFMs offer a principled path toward long-range coherence, multimodal generality, and physically structured inductive bias in next-generation generative models.
• Abstract（参考訳）: 本稿では,SGFM(Spectral Generative Flow Models)を紹介する。 テキストやビデオを注意によって処理された離散トークンのシーケンスとして表現する代わりに、SGFMは生成をマルチスケールウェーブレットベースで制約された確率力学によって支配される連続体の発展として扱う。 この定式化は、グローバルな注意を局所作用素、スペクトル射影、ナビエ-ストークスのような輸送に置き換え、連続性、幾何学、物理的構造に基づく生成機構をもたらす。 私たちのフレームワークは3つの重要なイノベーションを提供します。 一 テキスト及び動画を確率的偏微分方程式の軌跡として統一する場理論オントロジー 二 疎性、スケール分離及び計算効率を誘導するウェーブレット領域表現 三)安定性、コヒーレンス、不確実性伝播を強制する制約付き確率流。 これらのコンポーネントは、自己回帰モデリングと拡散に基づくアプローチから根本的に逸脱した生成的アーキテクチャを定義する。 SGFMは、次世代生成モデルにおいて、長距離コヒーレンス、マルチモーダル一般性、および物理的に構造化された帰納バイアスへの原則化された経路を提供する。

関連論文リスト

• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• Kuramoto Orientation Diffusion Models [67.0711709825854]
  指紋やテクスチャなどのオリエンテーションに富んだ画像は、しばしばコヒーレントな角模様を示す。 生体系における位相同期の役割を動機として,スコアベース生成モデルを提案する。 一般的な画像ベンチマークで競合する結果を実装し,指紋やテクスチャなどの指向性データセットの生成品質を大幅に向上する。
  論文  参考訳（メタデータ） (2025-09-18T18:18:49Z)
• Empirical Investigation of Latent Representational Dynamics in Large Language Models: A Manifold Evolution Perspective [4.935224714809964]
  本稿では,低次元意味多様体上で進化する連続軌跡として,大規模言語モデル(LLM)の生成をモデル化する概念的フレームワークである動的マニフォールド進化論(DMET)を紹介する。 この理論は、3つの解釈可能な測度-状態連続性(C$)、誘引子コンパクト性(Q$)、トポロジカル持続性(P$)を通じて潜在力学を特徴づけ、滑らかさ、安定性、表現進化の構造を共同で捉える。
  論文  参考訳（メタデータ） (2025-05-24T14:17:50Z)
• Transformers from Diffusion: A Unified Framework for Neural Message Passing [79.9193447649011]
  メッセージパッシングニューラルネットワーク(MPNN)は、デファクトクラスのモデルソリューションとなっている。 本稿では,拡散の誘導バイアスとエネルギーの層的制約を統合するエネルギー制約拡散モデルを提案する。 これらの知見に基づいて、我々はTransformer (DIFFormer)と呼ばれる新しいタイプのメッセージパッシングモデルを考案した。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。