論文の概要: Function graph transformers universally approximate operators between function spaces
- arxiv url: http://arxiv.org/abs/2605.17968v1
- Date: Mon, 18 May 2026 07:25:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.989829
- Title: Function graph transformers universally approximate operators between function spaces
- Title（参考訳）: 関数グラフ変換器は、関数空間間の作用素を普遍的に近似する
- Authors: Takashi Furuya, David Mis, Ivan Dokmanić, Maarten V. de Hoop, Matti Lassas,
- Abstract要約: 変換器による関数空間間の非線形作用素の近似について検討する。
我々のアプローチは、グラフ上でサポートされている測度に関数を持ち上げ、最近導入された変圧器の測度理論的視点を活用することである。
本稿では,このフレームワークが収束度測定による離散化改善をモデル化し,演算子学習の自然な設定を提供することを示す。
- 参考スコア（独自算出の注目度）: 14.886643480836817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the approximation of nonlinear operators between function spaces by transformers. Our approach is to lift functions to measures supported on their graphs and leverage a recently introduced measure-theoretic view of transformers. A function $h$ is represented by its graph measure $γ_h$, with finite tokens $\{(x_j,h(x_j))\}_{j=1}^N$ being its empirical approximations. We show that this framework elegantly models discretization refinement via convergence of measures and provides a natural setting for operator learning. Within this framework, we introduce function graph transformers, a graph-preserving subclass of measure-theoretic transformers that maps graph measures to graph measures, which is to say that outputs remain single-valued functions. Crucially, this additional structure does not reduce generality: we prove that the resulting graph-preserving maps can be approximated by finite compositions of standard softmax self-attention layers and pointwise MLPs, yielding universal approximation results for broad classes of nonlinear operators. Unlike existing theoretical approaches to operator learning with transformers, the measure-theoretic framework also accommodates regularized negative-order Sobolev inputs for which discretization invariance is particularly challenging, as well as query points on different output domains. Overall, function graph transformers provide a continuum viewpoint and mathematical toolkit for transformer-based operator learning, clarifying the roles of positional encodings, graph structure, regularization, and ensuring consistency across discretizations.
- Abstract（参考訳）: 変換器による関数空間間の非線形作用素の近似について検討する。
我々のアプローチは、グラフ上でサポートされている測度に関数を持ち上げ、最近導入された変圧器の測度理論的視点を活用することである。
関数 $h$ はそのグラフ測度 $γ_h$ で表され、有限トークン $\{(x_j,h(x_j))\}_{j=1}^N$ はその経験的近似である。
この枠組みは,測度収束による離散化改善をエレガントにモデル化し,演算子学習の自然な設定を提供することを示す。
本フレームワークでは,グラフ測度をグラフ測度にマッピングする測度理論変換器のグラフ保存サブクラスである関数グラフ変換器を導入する。
重要なことに、この追加構造は一般性を減らさない: 結果として得られるグラフ保存写像は標準ソフトマックス自己アテンション層とポイントワイズ MLP の有限合成によって近似できることを証明し、非線形作用素の幅広いクラスに対して普遍的な近似結果が得られる。
変圧器を用いた演算子学習における従来の理論的アプローチとは異なり、測度理論フレームワークは、離散化不変性が特に難しい正規化負次ソボレフ入力や、異なる出力領域のクエリポイントも許容する。
全体として、関数グラフ変換器は、変換子に基づく演算子学習のための連続的な視点と数学的ツールキットを提供し、位置符号化、グラフ構造、正規化、離散化間の整合性の確保などの役割を明確にする。
関連論文リスト
- TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors [53.891337639229285]
高次アテンション・インタラクション接続を通して表現された入力依存線形演算子として変換器全体をキャプチャする新しい定式化である attentionLens を導入する。
本実験は,注目テンソルが,解釈可能性とモデル理解を目的としたツール開発のための強力な基盤となることを実証した。
論文 参考訳（メタデータ） (2026-01-25T19:21:25Z) - Graded Transformers [0.0]
そこで我々は,ベクトル空間上のグレーディングを通じて帰納バイアスを埋め込む新しいシーケンスモデルである Graded Transformer フレームワークを紹介した。
このフレームワークは、以前のモデルの固定グレードの制限を克服し、適応的な特徴優先順位付けを可能にする。
Graded Transformerは、階層的学習とニューロシンボリック推論に対する数学的に原則化されたアプローチを提供する。
論文 参考訳（メタデータ） (2025-07-27T02:34:08Z) - GITO: Graph-Informed Transformer Operator for Learning Complex Partial Differential Equations [0.0]
複素偏微分方程式系を学習するための新しいグラフインフォームド・トランスフォーマ演算子(GITO)アーキテクチャを提案する。
GITOは、HGT(Hybrid graph transformer)とTNO(Transformer Neural operator)の2つの主要モジュールから構成される。
ベンチマークPDEタスクの実験的結果は、GITOが既存のトランスフォーマーベースのニューラル演算子より優れていることを示している。
論文 参考訳（メタデータ） (2025-06-16T18:35:45Z) - Transformers Meet In-Context Learning: A Universal Approximation Theory [25.513848079509653]
我々は、変換器が文脈内学習を実現する方法を理解するために、普遍近似理論を開発する。
関数の一般的なクラスに対して、いくつかのノイズの多いインコンテキストの例に基づいて予測できる変換器を構築する方法を示す。
論文 参考訳（メタデータ） (2025-06-05T16:12:51Z) - Graph Laplacian Wavelet Transformer via Learnable Spectral Decomposition [0.0]
構造化言語タスクのための既存のシーケンスからシーケンスモデルは、ドット積の自己注意機構に大きく依存している。
このボトルネックを学習可能なマルチスケールのウェーブレット変換に置き換える新しいアーキテクチャであるGraph Wavelet Transformer(GWT)を紹介します。
論文 参考訳（メタデータ） (2025-05-09T00:13:23Z) - Plain Transformers Can be Powerful Graph Learners [64.50059165186701]
研究者たちは、Transformerをグラフ学習に移行しようとしたが、ほとんどの高度なGraph Transformerは、普通のTransformerから遠く離れている。
この研究は、普通のTransformerアーキテクチャが強力なグラフ学習者になれることを示した。
論文 参考訳（メタデータ） (2025-04-17T02:06:50Z) - SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。
本研究では,一層伝播を一層伝播に還元できることを示す。
これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
論文 参考訳（メタデータ） (2024-09-13T17:37:34Z) - Beyond symmetrization: effective adjacency matrices and renormalization for (un)singed directed graphs [0.0]
変形ラプラシア作用素の定義から生じる効果的な隣接行列の概念を定義する。
これらの効果的な行列は、ジェネリックグラフを符号のない無向グラフの族にマッピングすることを可能にする。
ホッジ・ヘルムホルツ分解がこの複雑さをナビゲートするのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2024-06-03T16:48:25Z) - Curve Your Attention: Mixed-Curvature Transformers for Graph
Representation Learning [77.1421343649344]
本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。
また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
論文 参考訳（メタデータ） (2023-09-08T02:44:37Z) - What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。
様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
論文 参考訳（メタデータ） (2022-05-27T14:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。