論文の概要: Operator-Theoretic Generalization Bounds for Multitask Deep Learning
- arxiv url: http://arxiv.org/abs/2608.15982v1
- Date: Mon, 17 Aug 2026 00:36:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.494902
- Title: Operator-Theoretic Generalization Bounds for Multitask Deep Learning
- Title（参考訳）: マルチタスク深層学習のための演算子理論一般化境界
- Abstract要約: 深層多出力関数クラスに対する演算子理論の一般化境界を開発する。
Rademacher は可逆かつ拡張可能な射影型アーキテクチャの複雑さを導出する。
- 参考スコア（独自算出の注目度）: 0.0254890465057467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop operator-theoretic generalization bounds for deep multi-output function classes by representing network layers as Koopman composition operators on vector-valued reproducing kernel Hilbert spaces. In vector-valued Sobolev RKHSs, we derive Rademacher complexity bounds for invertible and width-expanding injective architectures. The estimates separate the output-coupling contribution, represented by the trace of the task matrix, from the layerwise operator norms, Sobolev symbol ratios, determinant factors, and restriction constants generated by the linear maps. We then analyze a distinct one-dimensional Brownian/Cameron--Martin regime. Using the exact anchored derivative-norm characterization of the vector-valued Brownian RKHS, we obtain layerwise bounds for domain-preserving scalar linear maps and anchored diffeomorphic activations; the corresponding factors scale as $|W_l|^{1/2}$ and $\|σ_l'\|_\infty^{1/2}$, respectively, and do not involve Sobolev smoothness exponents. Because the Sobolev and Brownian results concern different hypothesis spaces, neither is asserted to dominate the other uniformly. We additionally formulate shared operator learning across tasks, prove a finite-rank representer theorem, derive the exact finite-dimensional problem for squared loss, and establish a target-transfer bound when the learned operator is obtained independently of the target sample. Synthetic and MNIST studies examine stabilized Sobolev-inspired and Brownian-inspired complexity proxies; these empirical proxies are not evaluations of the proved bounds for rank-deficient architectures.
- Abstract（参考訳）: 我々は、ベクトル値再生カーネルヒルベルト空間上のクープマン合成作用素としてネットワーク層を表現し、深層多出力関数クラスに対する演算子-理論一般化境界を開発する。
ベクトル値のソボレフ RKHS では、可逆かつ幅を拡大する射影的アーキテクチャに対してラデマッハ複雑性境界を導出する。
推定は、タスク行列のトレースで表される出力結合寄与を、階層的な作用素ノルム、ソボレフ記号比、決定因子、線形写像によって生成される制限定数から分離する。
続いて、ブラウン/キャメロン-マーチン系を1次元に分けて解析する。
ベクトル値のブラウン RKHS の正確なアンカー付き微分ノルム特性を用いて、ドメイン保存スカラー線型写像とアンカー付き微分同相写像の層境界を求め、対応する因子はそれぞれ $|W_l|^{1/2}$ と $\|σ_l'\|_\infty^{1/2}$ とスケールし、ソボレフ滑らか度指数を含まない。
ソボレフとブラウンの結果は異なる仮説空間に関係しているため、どちらも他方を均一に支配するとは主張されない。
さらに、タスク間での共有演算子学習を定式化し、有限ランク表現子定理を証明し、二乗損失の正確な有限次元問題を導出し、学習した演算子が対象サンプルから独立して得られる場合に、目標移動境界を確立する。
合成およびMNIST研究は、安定ソボレフにインスパイアされたおよびブラウンにインスパイアされた複雑性プロキシを検証し、これらの経験的プロキシはランク不足アーキテクチャの証明された境界の評価ではない。
関連論文リスト
- RKHS Representation of Algebraic Convolutional Filters with Integral Operators [111.57971404925486]
本稿では、積分作用素の範囲が自然にRKHS畳み込み信号モデルを誘導することを示す理論を開発する。
積分作用素によるフィルタリングは反復箱積に対応し、ユニタリカーネル代数が生じることを示す。
本研究は, グラノン信号処理における固有分解とRKHS表現の正確な関係を確立し, 自然に有向グラノンに拡張し, 空間スペクトルの新たな局在化を可能とした。
論文 参考訳（メタデータ） (2026-02-22T08:28:34Z) - Deterministic Zeroth-Order Mirror Descent via Vector Fields with A Posteriori Certification [45.85698554568285]
我々は、勾配を一般的なベクトル場に置き換えることで、決定論的ゼロ階ミラー降下フレームワークを開発する。
我々の分析は、最終段階の不等式評価のための評価テンプレートを提供する。
これらの結果は、ブレグマンのアイデンティティ、決定論的証明、およびゼロ階ミラー降下におけるロバストな円錐幾何学を隠蔽した幾何学的リンクを明らかにする。
論文 参考訳（メタデータ） (2026-01-31T10:05:05Z) - Deep Delta Learning [91.75868893250662]
本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。
我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。
この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
論文 参考訳（メタデータ） (2026-01-01T18:11:38Z) - Deep Eigenspace Network and Its Application to Parametric Non-selfadjoint Eigenvalue Problems [0.12744523252873352]
パラメトリック非自己随伴固有値問題を効率的に解くための演算子学習について検討する。
個々の固有関数ではなく、安定な不変固有部分空間写像を学習するハイブリッドフレームワークを導入する。
論文 参考訳（メタデータ） (2025-12-23T05:20:22Z) - A Kernel-based Stochastic Approximation Framework for Nonlinear Operator Learning [7.820614736576814]
一般メルサー作用素値カーネルを用いた無限次元空間間の近似フレームワークを開発する。
この枠組みでは, 非線形演算子学習が次元性の呪いを克服できることを実証し, 次元自由収束率を確立する。
このフレームワークは、積分演算子からエンコーダ-デコーダ表現に基づくアーキテクチャまで、幅広い演算子学習タスクに対応している。
論文 参考訳（メタデータ） (2025-09-14T03:33:36Z) - Self-Attention as a Parametric Endofunctor: A Categorical Framework for Transformer Architectures [0.0]
我々は,自己意識の線形成分に着目したカテゴリー理論フレームワークを開発した。
クエリ、キー、値マップは自然に2-圏 $mathbfPara(Vect)$ のパラメトリック 1-同型を定義することを示す。
複数の自己アテンション層を積み重ねると、このエンドファウンタ上の自由モナドが構築される。
論文 参考訳（メタデータ） (2025-01-06T11:14:18Z) - Generalization Bounds and Model Complexity for Kolmogorov-Arnold Networks [1.5850926890180461]
Kolmogorov-Arnold Network (KAN)は、Liuらによって最近提案されたネットワーク構造である。
活性化関数を備えたカンの一般化境界を確立することにより、カンの厳密な理論的解析を提供する。
論文 参考訳（メタデータ） (2024-10-10T15:23:21Z) - Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
論文 参考訳（メタデータ） (2024-07-15T07:11:44Z) - Learning Dynamical Systems via Koopman Operator Regression in
Reproducing Kernel Hilbert Spaces [52.35063796758121]
動的システムの有限データ軌跡からクープマン作用素を学ぶためのフレームワークを定式化する。
リスクとクープマン作用素のスペクトル分解の推定を関連付ける。
以上の結果から,RRRは他の広く用いられている推定値よりも有益である可能性が示唆された。
論文 参考訳（メタデータ） (2022-05-27T14:57:48Z) - Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。
線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文 参考訳（メタデータ） (2022-04-20T21:15:38Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳（メタデータ） (2020-04-15T04:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。