論文の概要: Every Feedforward Neural Network Definable in an o-Minimal Structure Has Finite Sample Complexity

• arxiv url: http://arxiv.org/abs/2605.07097v1
• Date: Fri, 08 May 2026 01:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.713587
• Title: Every Feedforward Neural Network Definable in an o-Minimal Structure Has Finite Sample Complexity
• Title（参考訳）: O-ミニマル構造で定義可能なすべてのフィードフォワードニューラルネットワークは、有限サンプル複雑性を持つ
• Abstract要約: フィードフォワードニューラルネットワークの幅広いクラスは、PACモデルで学習する(有限サンプルの複雑さを持つ)ことを示す。 その結果, 有限サンプルPAC学習能力は, 微分器ではなく, ベースラインとして再構成された。
• 参考スコア（独自算出の注目度）: 15.786915433105868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that, in a precise sense, a broad class of feedforward neural networks learn (have finite sample complexity) in the PAC model: every fixed finite feedforward architecture whose layers are definable in an o-minimal structure has finite sample complexity in the agnostic PAC setting, even with unbounded parameters. This covers standard fixed-size MLPs, CNNs, GNNs, and transformers with fixed sequence length, together with the operations and layers typically used in such architectures, including linear projections, residual connections, attention mechanisms, pooling layers, normalization layers, and admissible positional encodings. Hence, distribution-free learnability for modern non-recurrent architectures is not an exceptional property of particular activations or architecture-specific VC arguments, but a consequence of tame feedforward computation. Our results reposition finite-sample PAC learnability as a baseline rather than a differentiator: they shift the focus of architectural comparison toward inductive biases, symmetries and geometric priors, scalability, and optimization behaviour.
• Abstract（参考訳）: PACモデルでは,階層がo最小構造で定義可能なすべての固定有限フィードフォワードアーキテクチャが,非有界なPAC設定において,有限サンプル複雑性を有することを示す。 これは、リニアプロジェクション、残留接続、アテンション機構、プーリング層、正規化層、許容位置エンコーディングなど、一般的にそのようなアーキテクチャで使用される操作とレイヤと共に、固定サイズMPP、CNN、GNN、および固定シーケンス長のトランスフォーマーをカバーしている。 したがって、現代の非リカレントアーキテクチャにおける分布自由学習性は、特定のアクティベーションやアーキテクチャ固有のVC引数の例外的な性質ではなく、テームフィードフォワード計算の結果である。 本研究の結果は,有限サンプルPAC学習能力を差別化要因ではなくベースラインとして再検討し,アーキテクチャ比較の焦点を帰納的バイアス,対称性,幾何学的先行,拡張性,最適化行動へとシフトさせた。

関連論文リスト

• Convergence of Gradient Descent for General Neural Network Architectures Beyond the NTK Regime [24.053364183688874]
  トレーニングダイナミクスはニューラルネットワークを理解する上で中心的な存在だ。 本稿では,ニューラルネットワークアーキテクチャの幅広いファミリ下での勾配降下ダイナミクス解析のための収束フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-22T14:00:26Z)
• Learning Sparse Compositional Functions with Norm-Constrained Neural Networks [8.967327976469653]
  深層ネットワークは対象関数の構成構造を活用でき、次元性の呪い(CoD)を効果的に回避できることを示す。 チューリング計算可能な全ての関数はスパース構成表現を許容するので、我々の結果は幅広い適用性を持つ。
  論文  参考訳（メタデータ） (2026-05-25T09:02:13Z)
• Compositional Sparsity as an Inductive Bias for Neural Architecture Design [35.06894725394093]
  我々は、ディープニューラルネットワークが次元の呪いを克服できる構造的先行性を特定する。 本稿では,階層的な構成によって抽象化が生じる解釈可能なパイプラインを提案する。 現実世界のデータセットの幅広いスイートの中で、HNNは、はるかに少ないパラメータを使用しながら、常に密なベースラインにマッチまたは性能を向上する。
  論文  参考訳（メタデータ） (2026-05-14T12:26:50Z)
• Invariant-Stratified Propagation for Expressive Graph Neural Networks [9.192992900110983]
  グラフニューラルネットワーク(GNN)は、表現性と構造的不均一性を捉える基本的な制限に直面している。 Invariant-Stratified Propagation (ISP)は、新しいWL変種(ISP-WL)とその効率的なニューラルネットワーク実装(ISPGNN)の両方からなるフレームワークである。 ISPはグラフ不変量に従ってノードを階層化し、階層的な層で処理し、1-WLに見えない構造的区別を明らかにする。 ISPは、高階パターンにおけるノードの構造的位置の違いを定量化し、参加者が一様参加を持つものと異なる役割を担っている相互作用を区別する。
  論文  参考訳（メタデータ） (2026-03-02T02:34:40Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• The Neural Differential Manifold: An Architecture with Explicit Geometric Structure [8.201374511929538]
  本稿では,その基本設計に幾何学的構造を明示的に組み込んだニューラルネットワークアーキテクチャであるニューラル微分マニフォールド(NDM)を紹介する。 我々は、より効率的な最適化の可能性、継続学習の強化、科学的発見と制御可能な生成モデルへの応用など、このアプローチの理論的利点を分析する。
  論文  参考訳（メタデータ） (2025-10-29T02:24:27Z)
• Identifiability of Deep Polynomial Neural Networks [1.7510408568923366]
  多項式ニューラルネットワーク (Polynomial Neural Networks, PNN) は代数的および幾何学的構造を持つ。 彼らの識別可能性 -- 解釈可能性を保証するための重要な特性 -- は、いまだに理解されていない。 本稿では,深部PNNの識別可能性に関する包括的分析を行う。
  論文  参考訳（メタデータ） (2025-06-20T15:58:46Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Adversarially Robust Neural Architectures [43.74185132684662]
  本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。 本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。 提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
  論文  参考訳（メタデータ） (2020-09-02T08:52:15Z)
• A Tree Architecture of LSTM Networks for Sequential Regression with Missing Data [0.0]
  本稿では,Long Short-Term Memory (LSTM) ネットワークに基づく新しいツリーアーキテクチャを提案する。 アーキテクチャでは、配列内の既存の入力のみを使用するLSTMネットワークの可変数を用いる。 我々は、よく知られた財務・実生活データセットの最先端手法に関して、大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2020-05-22T18:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。