論文の概要: Approximation Theory for Lipschitz Continuous Transformers

• arxiv url: http://arxiv.org/abs/2602.15503v1
• Date: Tue, 17 Feb 2026 11:16:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:18.042832
• Title: Approximation Theory for Lipschitz Continuous Transformers
• Title（参考訳）: リプシッツ連続変圧器の近似理論
• Authors: Takashi Furuya, Davide Murari, Carola-Bibiane Schönlieb,
• Abstract要約: そこで我々は,Lipschitz-Continuous な勾配descent-type in-context Transformers のクラスを導入する。 このクラスに対する普遍近似定理をリプシッツ制約函数空間内で証明する。
• 参考スコア（独自算出の注目度）: 25.214371685544297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stability and robustness are critical for deploying Transformers in safety-sensitive settings. A principled way to enforce such behavior is to constrain the model's Lipschitz constant. However, approximation-theoretic guarantees for architectures that explicitly preserve Lipschitz continuity have yet to be established. In this work, we bridge this gap by introducing a class of gradient-descent-type in-context Transformers that are Lipschitz-continuous by construction. We realize both MLP and attention blocks as explicit Euler steps of negative gradient flows, ensuring inherent stability without sacrificing expressivity. We prove a universal approximation theorem for this class within a Lipschitz-constrained function space. Crucially, our analysis adopts a measure-theoretic formalism, interpreting Transformers as operators on probability measures, to yield approximation guarantees independent of token count. These results provide a rigorous theoretical foundation for the design of robust, Lipschitz continuous Transformer architectures.
• Abstract（参考訳）: 安全性に敏感な設定でTransformerをデプロイするには、安定性と堅牢性が不可欠だ。 そのような振る舞いを強制する原則的な方法はモデルのリプシッツ定数を制限することである。 しかし、リプシッツ連続性を明示的に維持するアーキテクチャに対する近似理論の保証はまだ確立されていない。 本研究では, このギャップを, リプシッツ連続な勾配ディフレッシュ型インコンテクスト変換器のクラスを導入することによって埋める。 我々は,MLPとアテンションブロックの両方を負の勾配流の明示的なオイラーステップとして実現し,表現性を犠牲にすることなく固有安定性を確保する。 このクラスに対する普遍近似定理をリプシッツ制約函数空間内で証明する。 重要な点として、我々の分析は、トークン数とは無関係に近似を保証するために、確率測度上の作用素として変換器を解釈する測度理論の定式化を採用する。 これらの結果は、ロバストなリプシッツ連続トランスフォーマーアーキテクチャの設計のための厳密な理論基盤を提供する。

関連論文リスト

• Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
  閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。 この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。 バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
  論文  参考訳（メタデータ） (2025-11-26T20:02:59Z)
• Near-optimal delta-convex estimation of Lipschitz functions [0.913755431537592]
  本稿では,雑音観測から未知のリプシッツ関数を推定するためのトラクタブルアルゴリズムを提案する。 フレームワークは、形状制限された回帰に適応するのも簡単です。
  論文  参考訳（メタデータ） (2025-11-19T17:02:30Z)
• Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities [58.742178800799614]
  We study a family of $textitretrieval$ and $textitcopying$ tasks inspired by Liu et al。 我々は、事前訓練されたモデルがクエリトークンの左(アンチインダクション)よりも右(インダクション)へのトークンの検索が優れているような、$textitinduction-versus-anti-induction$ asymmetricを観察する。 力学解析により、この非対称性は、事前学習された変圧器内の誘導の強度と反誘導回路の強度の違いに関係していることが明らかになった。
  論文  参考訳（メタデータ） (2025-05-27T21:36:50Z)
• Mitigating Transformer Overconfidence via Lipschitz Regularization [5.551514328951632]
  リプシッツ正規化変圧器(LRFormer) バナッハ空間内の距離で、リプシッツ性を確保し、契約的なリプシッツ境界によってこの項を正則化する新しい類似関数を提案する。 標準ビジョンベンチマークで行った実験では、予測、校正、不確実性推定において、我々の手法が最先端のシングルフォワードパスアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-12T03:47:43Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• The Lipschitz Constant of Self-Attention [27.61634862685452]
  ニューラルネットワークのリプシッツ定数は、ディープラーニングにおいて様々な文脈で研究されている。 配列モデリングに広く用いられている非線形ニューラルネットワークモジュールである自己アテンションのリプシッツ定数について検討する。
  論文  参考訳（メタデータ） (2020-06-08T16:08:38Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。