Fugu-MT 論文翻訳(概要): A Generalization Bound for a Family of Implicit Networks

論文の概要: A Generalization Bound for a Family of Implicit Networks

arxiv url: http://arxiv.org/abs/2410.07427v2
Date: Fri, 11 Oct 2024 02:55:20 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 20:37:14.202098
Title: A Generalization Bound for a Family of Implicit Networks
Title（参考訳）: インシシット・ネットワークの家族に対する一般化境界
Authors: Samy Wu Fung, Benjamin Berkels,
Abstract要約: インプリシット・ネットワーク(英: Implicit Network)は、パラメータ化された演算子の固定点によって出力が定義されるニューラルネットワークである。これらのアーキテクチャのラデマッハ複雑性の被覆数論に基づいて、このクラスに有界な一般化を示す。
参考スコア（独自算出の注目度）: 2.3173485093942943
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Implicit networks are a class of neural networks whose outputs are defined by the fixed point of a parameterized operator. They have enjoyed success in many applications including natural language processing, image processing, and numerous other applications. While they have found abundant empirical success, theoretical work on its generalization is still under-explored. In this work, we consider a large family of implicit networks defined parameterized contractive fixed point operators. We show a generalization bound for this class based on a covering number argument for the Rademacher complexity of these architectures.
Abstract（参考訳）: インプリシット・ネットワーク(英: Implicit Network)は、パラメータ化された演算子の固定点によって出力が定義されるニューラルネットワークのクラスである。彼らは自然言語処理、画像処理、その他多くのアプリケーションを含む多くのアプリケーションで成功を収めてきた。彼らは経験的成功を多く見出しているが、その一般化に関する理論的な研究はまだ未定である。本研究では、パラメータ化されたパラメータ化固定点演算子を定義する暗黙ネットワークの大規模なファミリーを考える。これらのアーキテクチャのラデマッハ複雑性の被覆数論に基づいて、このクラスに有界な一般化を示す。

関連論文リスト

A Margin-based Multiclass Generalization Bound via Geometric Complexity [6.554326244334867]
ニューラルネットワークに対するマージンベース多クラス一般化境界について検討する。ネットワークの余分な正規化幾何学的複雑さでスケールする一般化誤差に新たな上限を導出する。
論文参考訳（メタデータ） (2024-05-28T21:08:58Z)
GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。 GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
論文参考訳（メタデータ） (2023-12-05T03:03:54Z)
Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文参考訳（メタデータ） (2023-10-16T02:12:32Z)
Operator Learning Meets Numerical Analysis: Improving Neural Networks through Iterative Methods [2.226971382808806]
演算子方程式の反復的手法に基づく理論的枠組みを開発する。拡散モデルやAlphaFoldのような一般的なアーキテクチャは本質的に反復的演算子学習を採用していることを実証する。本研究の目的は,数値解析から洞察を融合させることにより,ディープラーニングの理解を深めることである。
論文参考訳（メタデータ） (2023-10-02T20:25:36Z)
Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
論文参考訳（メタデータ） (2023-01-21T02:34:06Z)
Spelunking the Deep: Guaranteed Queries for General Neural Implicit Surfaces [35.438964954948574]
この研究は、広範囲の既存アーキテクチャに対して、一般的なニューラル暗黙関数でクエリを直接実行するための新しいアプローチを示す。私たちのキーとなるツールは、ニューラルネットワークへのレンジ分析の適用であり、ネットワークの出力を領域を越えてバウンドするために自動演算ルールを使用します。得られた境界を用いて、レイキャスト、交差試験、空間階層の構築、高速メッシュ抽出、最近点評価などのクエリを開発する。
論文参考訳（メタデータ） (2022-02-05T00:37:08Z)
A Unified Architecture of Semantic Segmentation and Hierarchical Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
論文参考訳（メタデータ） (2021-12-08T22:06:31Z)
Polynomial Networks in Deep Classifiers [55.90321402256631]
我々は深層ニューラルネットワークの研究を統一的な枠組みで行った。私たちのフレームワークは、各モデルの誘導バイアスに関する洞察を提供します。提案モデルの有効性を,標準画像および音声分類ベンチマークで評価した。
論文参考訳（メタデータ） (2021-04-16T06:41:20Z)
On Infinite-Width Hypernetworks [101.03630454105621]
我々は、ハイパーネットワークが、下降中のグローバルなミニマを保証していないことを示す。我々は,これらのアーキテクチャの機能的先行を,対応するGPカーネルとNTKカーネルを導出することによって同定する。この研究の一環として、標準完全連結ReLUネットワークの高次テイラー項の厳密な境界を導出した数学的貢献を行う。
論文参考訳（メタデータ） (2020-03-27T00:50:29Z)
Implicitly Defined Layers in Neural Networks [12.167549413547908]
ニューラルネットワーク内の個々の層を定義することは、標準的な明示的な層よりもはるかにリッチな表現を提供することを示す。既存の機械学習ライブラリに暗黙的に定義されたレイヤをシームレスに組み込む方法を示す。
論文参考訳（メタデータ） (2020-03-03T22:44:42Z)
Bayesian Reasoning with Trained Neural Networks [0.0]
トレーニングされたニューラルネットワークを用いてベイズ推論を行い、初期スコープ外のタスクを解決する方法を示す。深層生成モデルは事前知識を提供し、分類/回帰ネットワークは制約を課す。既にトレーニング済みのネットワーク上に構築されたアプローチと、対処可能な質問は、利用可能なネットワークの数とともに、極端に指数関数的に増加しました。
論文参考訳（メタデータ） (2020-01-29T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。