論文の概要: Operator-Based Generalization Bound for Deep Learning: Insights on Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2512.19184v1
• Date: Mon, 22 Dec 2025 09:18:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.690141
• Title: Operator-Based Generalization Bound for Deep Learning: Insights on Multi-Task Learning
• Title（参考訳）: 深層学習のための演算子に基づく一般化境界:マルチタスク学習に関する考察
• Authors: Mahdi Mohammadigohari, Giuseppe Di Fatta, Giuseppe Nicosia, Panos M. Pardalos,
• Abstract要約: 本稿では,ベクトル値ニューラルネットワークとディープカーネル法のための新しい一般化境界を提案する。 クープマン法に係わる計算課題を軽減するため,ベクトル値ニューラルネットワークに適用可能なスケッチ技術を導入する。 我々は、ヒルベルト空間を再現する新しいディープラーニングフレームワーク、ディープベクトル値カーネルを提案する。
• 参考スコア（独自算出の注目度）: 3.924521334514384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents novel generalization bounds for vector-valued neural networks and deep kernel methods, focusing on multi-task learning through an operator-theoretic framework. Our key development lies in strategically combining a Koopman based approach with existing techniques, achieving tighter generalization guarantees compared to traditional norm-based bounds. To mitigate computational challenges associated with Koopman-based methods, we introduce sketching techniques applicable to vector valued neural networks. These techniques yield excess risk bounds under generic Lipschitz losses, providing performance guarantees for applications including robust and multiple quantile regression. Furthermore, we propose a novel deep learning framework, deep vector-valued reproducing kernel Hilbert spaces (vvRKHS), leveraging Perron Frobenius (PF) operators to enhance deep kernel methods. We derive a new Rademacher generalization bound for this framework, explicitly addressing underfitting and overfitting through kernel refinement strategies. This work offers novel insights into the generalization properties of multitask learning with deep learning architectures, an area that has been relatively unexplored until recent developments.
• Abstract（参考訳）: 本稿では,ベクトル値ニューラルネットワークとディープカーネル手法の新たな一般化境界を提案し,演算子理論の枠組みによるマルチタスク学習に着目した。 私たちのキーとなる開発は、Koopmanベースのアプローチと既存のテクニックを戦略的に組み合わせることであり、従来のノルムベースの境界よりも厳密な一般化保証を達成することにあります。 クープマン法に係わる計算課題を軽減するため,ベクトル値ニューラルネットワークに適用可能なスケッチ技術を導入する。 これらの手法は、一般的なリプシッツ損失の下で過剰なリスク境界をもたらし、ロバストおよび多重量子レグレッションを含むアプリケーションの性能保証を提供する。 さらに,PF演算子を活用して深層カーネル法を改良した新しい深部学習フレームワーク,深部ベクトル値再生カーネルHilbert空間(vvRKHS)を提案する。 我々は、このフレームワークのために新しいRademacher一般化を導出し、カーネルの洗練戦略による不適合と過度な適合に明示的に対処する。 この研究は、ディープラーニングアーキテクチャを用いたマルチタスク学習の一般化特性に関する新たな洞察を提供する。

関連論文リスト

• On the Koopman-Based Generalization Bounds for Multi-Task Deep Learning [3.924521334514384]
  本稿では,演算子理論を用いたマルチタスクディープニューラルネットワークの一般化境界を確立する。 筆者らは, 重み行列の小さな条件数を活用することによって, 従来の標準法に基づく手法よりも厳密な境界を求める。
  論文  参考訳（メタデータ） (2025-12-22T09:36:24Z)
• Depth-induced NTK: Bridging Over-parameterized Neural Networks and Deep Neural Kernels [13.302913618949468]
  階層的特徴変換をカーネル空間にマッピングすることで、オーバーパラメータ化ニューラルネットワークを解釈するための原則的フレームワークを提供する。 ネットワーク深度が無限に近づくとガウス過程に収束するショートカット関連アーキテクチャに基づく深さ誘起NTKカーネルを提案する。 この知見は,ニューラルネットワーク理論の既存の状況を大きく拡張し,深層学習とスケーリング法則の深い理解を提供する。
  論文  参考訳（メタデータ） (2025-11-05T10:00:03Z)
• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network [10.384951432591492]
  深部ニューラルネットワークの無限幅限界における最近の理論的分析により、ネットワークの初期化、特徴学習、トレーニングに対する理解が深まりました。 この無限幅解析は、ディープニューラルネットワークのヤコビアンにまで拡張可能であることを示す。 我々は、広い有限ネットワークに対する理論的主張の関連性を実験的に示し、核回帰解の性質を実験的に解析し、ヤコビアン正則化の洞察を得る。
  論文  参考訳（メタデータ） (2023-12-06T09:52:18Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation [65.79387438988554]
  十分なデータと代表データがない場合の一般化能力の欠如は、その実践的応用を妨げる課題の1つである。 我々はKDDG(Knowledge Distillation for Domain Generalization)という,シンプルで効果的な,プラグアンドプレイのトレーニング戦略を提案する。 教師ネットワークからの「より豊かな暗黒知識」と、我々が提案した勾配フィルタの両方が、マッピングの学習の難しさを軽減することができる。
  論文  参考訳（メタデータ） (2021-07-06T14:08:54Z)
• Learning for Integer-Constrained Optimization through Neural Networks with Limited Training [28.588195947764188]
  我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。 整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。 提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T21:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。