Fugu-MT 論文翻訳(概要): A Note on the Representation Power of GHHs

論文の概要: A Note on the Representation Power of GHHs

arxiv url: http://arxiv.org/abs/2101.11286v1
Date: Wed, 27 Jan 2021 09:46:37 GMT
ステータス: 処理完了
システム内更新日: 2021-02-01 22:11:52.874267
Title: A Note on the Representation Power of GHHs
Title（参考訳）: GHHの表現力に関する一考察
Authors: Zhou Lu
Abstract要約: 一般化されたヒンキング超平面のネストされた絶対値関数のネスト数に対して、鋭い下界を証明した。また、一層ニューラルネットワークはドメイン全体に対して普遍的な近似能力を持っていないことも示しています。
参考スコア（独自算出の注目度）: 2.512827436728378
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this note we prove a sharp lower bound on the necessary number of nestings of nested absolute-value functions of generalized hinging hyperplanes (GHH) to represent arbitrary CPWL functions. Previous upper bound states that $n+1$ nestings is sufficient for GHH to achieve universal representation power, but the corresponding lower bound was unknown. We prove that $n$ nestings is necessary for universal representation power, which provides an almost tight lower bound. We also show that one-hidden-layer neural networks don't have universal approximation power over the whole domain. The analysis is based on a key lemma showing that any finite sum of periodic functions is either non-integrable or the zero function, which might be of independent interest.
Abstract（参考訳）: このノートでは、任意のCPWL関数を表すために、一般化ヒンジ超平面(GHH)のネストされた絶対値関数のネスティングの必要な数に鋭い下限があることを証明します。以前は、$n+1$ネスティングはGHHが普遍的な表現力を達成するのに十分であるが、対応する下限は不明である。我々は、$n$ネスティングが普遍表現力のために必要であることを証明する。また,一層ニューラルネットワークは領域全体に普遍的な近似パワーを持たないことを示した。この解析は、周期関数の任意の有限和が非可積分であるか、あるいは独立な興味を持つゼロ函数であるかを示すキー補題に基づいている。

関連論文リスト

Some Might Say All You Need Is Sum [2.226803104060345]
グラフニューラルネットワーク(GNN)の表現性は、採用する集約関数に依存する。我々は,Mean や Max GNN によって正確に計算できる単純な関数が任意の Sum GNN によって近似できないことを証明した。
論文参考訳（メタデータ） (2023-02-22T19:01:52Z)
Regret Bounds for Noise-Free Cascaded Kernelized Bandits [51.45291566743071]
RKHS関数クラスを用いたノイズフリーグレーボックス設定において,関数ネットワークの最適化を検討する。本研究では,(1)チェーン:スカラー値関数のカスケード,(2)マルチアウトプットチェーン:ベクトル値関数のカスケード,(3)フィードフォワードネットワーク:完全に接続されたスカラー値関数のフィードフォワードネットワークの3種類の構造について検討する。
論文参考訳（メタデータ） (2022-11-10T09:12:55Z)
One-body reduced density-matrix functional theory for the canonical ensemble [0.0]
温度を含むと、すべての状態が占有され、さらにフェルミオン系の状態が完全に占有されないことにより、普遍関数の微分可能性を保証する。我々は、ポテンシャル-to-1RDM写像の普遍汎函数と可逆性の凸性を用いて、次数次が微分可能性と同値な1つの元のみを含むことを示す。
論文参考訳（メタデータ） (2022-09-23T15:50:43Z)
Noncommutative extensions of parameters in the asymptotic spectrum of graphs [0.0]
任意の函数は、類似した性質を持つ非可換グラフへの無数の拡張を持つか、あるいはそのような拡張を全く持たないことを示す。特に、Lov'asz数に対する許容指数の集合、射影階数、複素数上で有界な分数Haemerは極大である。
論文参考訳（メタデータ） (2022-07-21T13:55:12Z)
Provable General Function Class Representation Learning in Multitask Bandits and MDPs [58.624124220900306]
マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。本研究では,解析結果を一般関数クラス表現に拡張する。バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
論文参考訳（メタデータ） (2022-05-31T11:36:42Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Depth separation beyond radial functions [34.11708874794196]
特定の関数は2重層ネットワークで効率的に近似できるが、高次元の1重層ネットワークでは効率よく近似できないことを示す。このような結果の証明における一般的なテーマは、一隠れ層ネットワークがフーリエ表現が領域に広がる高エネルギー関数の近似に失敗するという事実である。
論文参考訳（メタデータ） (2021-02-02T17:25:02Z)
Approximation of BV functions by neural networks: A regularity theory approach [0.0]
我々は、単位円上にReLU活性化関数を持つ単一の隠れ層ニューラルネットワークによる関数の近似を懸念する。まず,ペナリゼーションを伴うコスト関数に関連する勾配流の平衡への収束について検討した。ペナリゼーションが有界な重みをバイアスするので、有界な重みを持つネットワークが有界な変動の与えられた関数をいかによく近似できるかを研究できる。
論文参考訳（メタデータ） (2020-12-15T13:58:44Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)
Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
論文参考訳（メタデータ） (2020-06-20T02:07:37Z)
Minimum Width for Universal Approximation [91.02689252671291]
我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
論文参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。