論文の概要: Deep Learning for Functional Data Analysis with Adaptive Basis Layers

• arxiv url: http://arxiv.org/abs/2106.10414v1
• Date: Sat, 19 Jun 2021 04:05:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:53:07.463776
• Title: Deep Learning for Functional Data Analysis with Adaptive Basis Layers
• Title（参考訳）: 適応基底層を用いた関数型データ解析のための深層学習
• Authors: Junwen Yao, Jonas Mueller, Jane-Ling Wang
• Abstract要約: 本稿では,マイクロニューラルネットワークとして実装された各基底関数を隠蔽ユニットとする,新しいBasis Layerを用いたニューラルネットワークを提案する。 我々のアーキテクチャは、入力関数の無関係な変化ではなく、ターゲットに関連する情報にのみ焦点をあてる機能入力に、擬似次元還元を適用することを学ぶ。
• 参考スコア（独自算出の注目度）: 11.831982475316641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their widespread success, the application of deep neural networks to functional data remains scarce today. The infinite dimensionality of functional data means standard learning algorithms can be applied only after appropriate dimension reduction, typically achieved via basis expansions. Currently, these bases are chosen a priori without the information for the task at hand and thus may not be effective for the designated task. We instead propose to adaptively learn these bases in an end-to-end fashion. We introduce neural networks that employ a new Basis Layer whose hidden units are each basis functions themselves implemented as a micro neural network. Our architecture learns to apply parsimonious dimension reduction to functional inputs that focuses only on information relevant to the target rather than irrelevant variation in the input function. Across numerous classification/regression tasks with functional data, our method empirically outperforms other types of neural networks, and we prove that our approach is statistically consistent with low generalization error. Code is available at: \url{https://github.com/jwyyy/AdaFNN}.
• Abstract（参考訳）: 広く成功したにもかかわらず、機能データへのディープニューラルネットワークの適用はいまだに少ない。 関数データの無限次元性は、標準的な学習アルゴリズムが適切な次元の縮小後にのみ適用できることを意味する。 現在、これらのベースは、手元のタスクに関する情報がなくても事前選択されており、指定したタスクには有効ではない可能性がある。 代わりに、エンドツーエンドでこれらのベースを適応的に学習することを提案します。 マイクロニューラルネットワークとして実装された各基底関数を隠蔽ユニットとする新しい基底層を用いたニューラルネットワークを提案する。 我々のアーキテクチャは、入力関数の無関係な変化ではなく、ターゲットに関連する情報にのみ焦点をあてる機能入力に、擬似次元還元を適用することを学ぶ。 関数型データを用いた多数の分類/回帰タスクにおいて,本手法は他の種類のニューラルネットワークよりも経験的に優れており,本手法が低一般化誤差と統計的に一致していることを示す。 コードは: \url{https://github.com/jwyy/AdaFNN}で入手できる。

関連論文リスト

• Nonlinear functional regression by functional deep neural network with kernel embedding [20.306390874610635]
  本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。 機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。 スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
  論文  参考訳（メタデータ） (2024-01-05T16:43:39Z)
• Functional data learning using convolutional neural networks [0.0]
  本稿では、回帰学習や分類学習において、畳み込みニューラルネットワークがどのように使用できるかを示す。 我々は、畳み込みニューラルネットワークの特定のが典型的なアーキテクチャを使って、すべての回帰演習を行います。 この手法は単純ではあるが精度が高く、将来は工学や医学への応用が期待できる。
  論文  参考訳（メタデータ） (2023-10-05T04:46:52Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
  我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。 具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2022-05-17T19:22:48Z)
• Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
  クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。 また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。 我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2021-11-15T22:33:52Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
  本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。 完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-23T20:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。