論文の概要: Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework

• arxiv url: http://arxiv.org/abs/2606.30440v1
• Date: Mon, 29 Jun 2026 15:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.297963
• Title: Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework
• Title（参考訳）: 完全ベイズプロセスとしてのトランスフォーマーアーキテクチャ - 測定理論カーネルフレームワークの形式的証明
• Abstract要約: 本稿では, 変圧器アーキテクチャがベイズ連系分布条件を満たす場合, 正確なベイズ後部推論を実装できることを示す。 測度理論のカーネルフレームワーク内で作業し、抽象化の階層を定義します。 各レベルにおいて、ベイズ合同意味論は、更新カーネルがほぼ至る所で後部核と等しいことを示す。
• 参考スコア（独自算出の注目度）: 0.282023281338763
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a complete formal proof that transformer architectures, when their internal update mechanisms satisfy a Bayes joint-distribution condition, implement exact Bayesian posterior inference. Working within the measure-theoretic kernel framework, we define a hierarchy of abstractions -- from the core Bayesian transformer, through semantic transformers with explicit update kernels, to full transformer blocks with QKV/attention/residual/MLP pipelines, and finally multilayer stacks -- and prove at each level that the Bayes joint semantics implies the update kernel equals the posterior almost everywhere. For the block-level architecture, we derive the explicit Bayes formula through Radon-Nikodym differentiation and prove its normalization. We additionally prove that the softmax attention mechanism induces a valid probability distribution over keys, establishing the bridge between the abstract kernel framework and concrete attention implementations. The framework makes no architectural assumptions beyond the Markov kernel structure and exposes explicit conditions under which a transformer block is provably Bayesian. In essence, when this joint distribution condition is satisfied, the forward computation of a Transformer is formally equivalent to a rigorous Bayesian posterior update.
• Abstract（参考訳）: 本稿では, 変圧器アーキテクチャがベイズ連系分布条件を満たす場合, 正確なベイズ後部推論を実装した完全形式的証明を提案する。 測度理論のカーネルフレームワークの中で、コアベイズ変換器から明示的なアップデートカーネルを備えたセマンティックトランスフォーマー、QKV/attention/residual/MLPパイプラインを備えたフルトランスフォーマーブロック、そして最終的にマルチレイヤスタックに至るまで、抽象化の階層を定義します。 ブロックレベルのアーキテクチャでは、Radon-Nikodym微分を通じて明示的なベイズ公式を導出し、その正規化を証明する。 さらに,ソフトマックスのアテンション機構が鍵上の有効確率分布を誘導し,抽象カーネルフレームワークと具体的なアテンション実装とのブリッジを確立することを証明する。 このフレームワークはマルコフのカーネル構造以外のアーキテクチャ上の仮定は行わず、変圧器ブロックが証明可能なベイズ的条件を公開する。 本質的に、この共同分布条件を満たすとき、トランスフォーマーの前方計算は厳密なベイズの後続更新と正式に等価である。

関連論文リスト

• Training-Free Universal Approximation by Prompting Random Transformers [48.556633593447465]
  ランダムで訓練されていない重みを持つソフトマックスアテンションネットワークは、適切なソフトプロンプトで操るとき、コンパクト多様体上の任意のハルダー関数を近似することができることを示す。 さらに、構築されたソフトプロンプトトークンのノルム、プロンプト長さ、隠された次元のトレードオフを明らかにすることで、プロンプトのコストを定量化する。
  論文  参考訳（メタデータ） (2026-08-10T12:57:22Z)
• StrTransformer: Source-Wise Structured Transformers for Unsupervised Blind Source Recovery [0.0]
  StrTransformerは、ブラインドソースリカバリとブランチワイド潜在モデリングのためのソースワイドな構造化されたTransformerフレームワークである。 本研究では, 対象物の疎結合構造, 正則化された精密再構成繊維, および順序分岐記述子によって誘導される置換対称性の低減について解析する。
  論文  参考訳（メタデータ） (2026-05-25T09:53:24Z)
• Kernel Dynamics under Path Entropy Maximization [0.0]
  カーネル関数 k : X x X -> R は経路エントロピーの対象となる動的変数として扱われる。 自己整合カーネルの固定点条件を定式化する。 プログラムを経験的かつ数学的にテスト可能にする6つのオープンな質問を提示します。
  論文  参考訳（メタデータ） (2026-03-29T21:34:08Z)
• Interpreting the Synchronization Gap: The Hidden Mechanism Inside Diffusion Transformers [0.0]
  予混合拡散変換器(DiT)における同期ギャップの機械的実現について検討する。 本研究は,ネットワークの終端層への分化遷移を分離し,DiTsが生成的曖昧性をどのように解決するかを機械論的に解釈するものである。
  論文  参考訳（メタデータ） (2026-03-22T00:13:33Z)
• SpanNorm: Reconciling Training Stability and Performance in Deep Transformers [55.100133502295996]
  両パラダイムの強度を統合することでジレンマを解消する新しい手法であるSpanNormを提案する。 我々は、SpanNormと原則付きスケーリング戦略を組み合わせることで、ネットワーク全体にわたって有界信号のばらつきを維持できることを理論的に示す。 経験的に、SpanNormは、密集および混成実験(Mixture-of-Experts、MoE)のシナリオにおいて、標準正規化スキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-30T05:21:57Z)
• The Bayesian Geometry of Transformer Attention [0.4779196219827507]
  我々は,真の後部が閉じた形で認識され,記憶化が不可能な制御環境を構築する。 小さな変圧器はmbox$10-3$--10-4$ビットの精度でベイズの後部を再現するが、容量整合幾何は桁違いに失敗する。
  論文  参考訳（メタデータ） (2025-12-27T05:28:58Z)
• Reconstructing Multi-Scale Physical Fields from Extremely Sparse Measurements with an Autoencoder-Diffusion Cascade [38.28865883904372]
  Cascaded Sensing (Cas-Sensing)は、自動エンコーダ拡散カスケードを統合する階層的な再構築フレームワークである。 マスクカスケード戦略で訓練された条件拡散モデルにより,大規模構造物に条件付された微細な詳細情報を生成する。 シミュレーションと実世界のデータセットの両方の実験により、Cas-Sensingは様々なセンサー構成と幾何学的境界をまたいでうまく一般化することを示した。
  論文  参考訳（メタデータ） (2025-12-01T11:46:14Z)
• Understanding Token-level Topological Structures in Transformer-based Time Series Forecasting [52.364260925700485]
  Transformer-based method has achieved state-of-the-art performance in time series forecasting (TSF) 既存のトランスフォーマーが中間層全体を通してトークン間の固有位相構造を完全に活用しているかどうかは不明である。 トークンレベルのトポロジを明示的にかつ適応的に保存するトランスフォーマーベースの新しいTSF手法であるトポロジ拡張法(TEM)を提案する。
  論文  参考訳（メタデータ） (2024-04-16T07:21:39Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• X-volution: On the unification of convolution and self-attention [52.80459687846842]
  本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。 提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
  論文  参考訳（メタデータ） (2021-06-04T04:32:02Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。