論文の概要: Stability of Measure-to-Measure Transformers on Sub-Gaussian Data

• arxiv url: http://arxiv.org/abs/2610.07717v1
• Date: Tue, 06 Oct 2026 04:13:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.795734
• Title: Stability of Measure-to-Measure Transformers on Sub-Gaussian Data
• Title（参考訳）: サブガウスデータに基づく測定・測定変換器の安定性
• Abstract要約: この研究は、変圧器によって定義される測度-測度演算子の数学的研究を構成する。 変換器はガウス以下の入力をガウス以下の出力にマッピングする。 次に、変圧器はガウス以下の入力の適切な空間上の1-ワッサーシュタイン距離に対してハルダー連続であることを示す。
• 参考スコア（独自算出の注目度）: 8.271195591114806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have exhibited impressive empirical success across various domains, but their theoretical foundations remain less developed. This work constitutes a mathematical study of the measure-to-measure operators defined by transformers. We show that transformers map sub-Gaussian inputs to sub-Gaussian outputs; this ensures that taking arbitrary-length compositions of the softmax operator is well-defined. We then show that transformers are Hölder continuous with respect to the 1-Wasserstein distance on appropriate spaces of sub-Gaussian inputs. This allows us to establish estimates on the error propagation along a transformer between a sub-Gaussian input and its empirical approximation. We also study a mean-field analog of the cross-attention mechanism, which is an operator from a pair of probability measures to a single probability measure. We show that cross-attention exhibits different Hölder regularity and sample-complexity in its two input arguments. Last, we apply our results to deduce approximation guarantees for measure-to-measure transformers. Together, these results provide a firm stability and finite-sample theory for transformers on sub-Gaussian data.
• Abstract（参考訳）: トランスフォーマーは様々な領域で印象的な経験的成功を見せているが、理論的な基礎は発展していない。 この研究は、変圧器によって定義される測度-測度演算子の数学的研究を構成する。 変換器は準ガウス入力を準ガウス出力にマッピングし、ソフトマックス作用素の任意の長さの合成を適切に定義することを保証している。 次に、変圧器はガウス以下の入力の適切な空間上の1-ワッサーシュタイン距離に関してヘルダー連続であることを示す。 これにより、準ガウス入力と経験的近似の間の変圧器に沿った誤差伝搬の推定値を確立することができる。 また,一対の確率測度から一対の確率測度への演算子であるクロスアテンション機構の平均場類似性についても検討する。 クロスアテンションは2つの入力引数において異なるヘルダー正則性およびサンプル複素性を示すことを示す。 最後に,この結果を用いて測定対測定変換器の近似保証を導出する。 これらの結果は共に、ガウス以下のデータ上の変圧器の堅固な安定性と有限サンプル理論を提供する。

関連論文リスト

• Fixed Universal Transformers [50.35639171254542]
  本稿では,任意のクラス内の任意の変圧器を適切な入力埋め込みによりシミュレートできる固定変圧器について紹介する。 埋め込み次元が十分に大きい場合に、普遍性を達成する明示的なスパース構成を提供する。 以上の結果から,変圧器の表現力の大部分は,学習した重みよりも入力表現に留まる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-29T15:22:06Z)
• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration [52.017716672255524]
  プレトレーニングトランスにおける不確実性校正は、リスクに敏感なアプリケーションへの信頼性の高い展開において重要である。 本稿では,各特徴変換ブロックを確率的写像としてモデル化したトランスフォーマの拡散インスピレーションによる再構成を提案する。 本手法は既存の不確実性認識変換器と比較してキャリブレーションと予測精度が優れている。
  論文  参考訳（メタデータ） (2026-02-09T17:24:47Z)
• Transformers in Pseudo-Random Number Generation: A Dual Perspective on Theory and Practice [1.8725832935669624]
  Pseudo-random number generators (PRNG) は高非線形プロセスであり、大規模言語モデルの最適化において鍵となるブロックである。 変換器を用いて高品質な擬似ランダム数を生成することは妥当であることを示す。
  論文  参考訳（メタデータ） (2025-08-02T01:31:53Z)
• Revisiting Kernel Attention with Correlated Gaussian Process Representation [6.857174439487293]
  自己注意ユニットを2つの相関GP(CGP)間の相互共分散としてモデル化した新しい変圧器のクラスを提案する。 これにより、非対称性が注目され、GPベースの変換器の表現能力を高めることができる。 実験により, CGPベースのトランスとスパースCGPベースのトランスの両方が, 最先端のGPベースのトランスよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-27T21:21:48Z)
• Towards Understanding Inductive Bias in Transformers: A View From Infinity [9.00214539845063]
  変換器は、列空間のより置換対称関数に偏りがちである。 対称群の表現論は定量的な解析的予測に利用できることを示す。 我々は、WikiTextデータセットは、実際に置換対称性の程度を持っていると主張している。
  論文  参考訳（メタデータ） (2024-02-07T19:00:01Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• Pathologies in priors and inference for Bayesian transformers [71.97183475225215]
  ベイズ推定を用いた予測不確実性の観点からトランスフォーマーモデルを改善する試みは成功していない。 変換器の重み空間推定は, 近似後部に関係なくうまく動作しないことがわかった。 本稿では,ディリクレ分布の暗黙的再パラメータ化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-08T10:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。