Fugu-MT 論文翻訳(概要): Elementary superexpressive activations

論文の概要: Elementary superexpressive activations

arxiv url: http://arxiv.org/abs/2102.10911v1
Date: Mon, 22 Feb 2021 11:29:09 GMT
ステータス: 処理完了
システム内更新日: 2023-04-10 06:00:45.705551
Title: Elementary superexpressive activations
Title（参考訳）: 初等超表現活性化
Authors: Dmitry Yarotsky
Abstract要約: 超表現的活性化は存在するが、その形態は非常に複雑であった。非常に単純な超表現的な家系の例を挙げる: 例えば、家族の罪であるアルクシンが超表現的であることを証明する。また、ほとんどの実用的なアクティベーション(周期関数を含まない)が超表現的でないことも示している。
参考スコア（独自算出の注目度）: 17.55171891411791
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We call a finite family of activation functions superexpressive if any multivariate continuous function can be approximated by a neural network that uses these activations and has a fixed architecture only depending on the number of input variables (i.e., to achieve any accuracy we only need to adjust the weights, without increasing the number of neurons). Previously, it was known that superexpressive activations exist, but their form was quite complex. We give examples of very simple superexpressive families: for example, we prove that the family {sin, arcsin} is superexpressive. We also show that most practical activations (not involving periodic functions) are not superexpressive.
Abstract（参考訳）: 我々は、任意の多変量連続関数がこれらの活性化を利用するニューラルネットワークによって近似され、入力変数の数(すなわち、どの精度でもニューロンの数を増やすことなく重みを調整する必要がある)によってのみ固定されたアーキテクチャを持つ場合、活性化関数の有限族を超表現的と呼ぶ。以前は超表現活性化が存在することが知られていたが、その形態は非常に複雑であった。例えば、族 {sin, arcsin} が超表現的であることを示す。また、ほとんどの実用的なアクティベーション(周期関数を含まない)は超表現的でないことを示す。

関連論文リスト

Don't Fear Peculiar Activation Functions: EUAF and Beyond [19.83892226338297]
パラメトリック・プライマリ・ユニバーサル・アクティベーション・ファンクション(PEUAF)と呼ばれる新しい超表現的アクティベーション関数を提案する。各種産業・画像データセットの系統的および包括的実験によるPEUAFの有効性を実証する。
論文参考訳（メタデータ） (2024-07-12T03:57:25Z)
Trainable Highly-expressive Activation Functions [8.662179223772089]
トレーニング可能な高表現能アクティベーション機能であるDiTACを紹介する。 DiTACはモデル表現性と性能を高め、しばしば大幅な改善をもたらす。また、セマンティックセグメンテーション、画像生成、回帰問題、画像分類といったタスクにおいて、既存のアクティベーション関数(後者が固定可能かトレーニング可能かに関わらず)を上回っている。
論文参考訳（メタデータ） (2024-07-10T11:49:29Z)
1-Lipschitz Neural Networks are more expressive with N-Activations [19.858602457988194]
システムの入力に対する小さな変更は、出力に大きな変更をもたらすべきではない。 MaxMinのようなよく使われるアクティベーション関数は、不必要に表現可能な関数のクラスを制限する。現在普及しているアクティベーション関数よりも明らかに表現力が高い新しいN-アクティベーション関数を導入する。
論文参考訳（メタデータ） (2023-11-10T15:12:04Z)
Structure of universal formulas [13.794391803767617]
本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
論文参考訳（メタデータ） (2023-11-07T11:50:25Z)
Complexity of Neural Network Training and ETR: Extensions with Effectively Continuous Functions [0.5352699766206808]
本稿では,様々なアクティベーション機能によって定義されるニューラルネットワークのトレーニングの複雑さについて検討する。我々は,シグモイドの活性化関数や他の効果的な連続関数に関して,問題の複雑さを考察する。
論文参考訳（メタデータ） (2023-05-19T17:17:00Z)
Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
論文参考訳（メタデータ） (2022-10-20T06:00:45Z)
Abelian Neural Networks [48.52497085313911]
まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。連想対称の特徴づけを用いて、アベリア半群演算に拡張する。固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
論文参考訳（メタデータ） (2021-02-24T11:52:21Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)
UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文参考訳（メタデータ） (2020-07-28T09:31:56Z)
Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文参考訳（メタデータ） (2020-06-20T16:23:32Z)
From Sets to Multisets: Provable Variational Inference for Probabilistic Integer Submodular Models [82.95892656532696]
サブモジュール関数は機械学習やデータマイニングにおいて広く研究されている。本研究では,整数部分モジュラ函数に対する連続DR-部分モジュラ拡張を提案する。整数部分モジュラー関数によって定義される新しい確率モデルを定式化する。
論文参考訳（メタデータ） (2020-06-01T22:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。