論文の概要: A Multi-Layer Regression based Predicable Function Fitting Network
- arxiv url: http://arxiv.org/abs/2209.09647v1
- Date: Mon, 19 Sep 2022 08:11:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 18:52:55.469251
- Title: A Multi-Layer Regression based Predicable Function Fitting Network
- Title（参考訳）: 多層回帰に基づく予測可能関数フィッティングネットワーク
- Authors: Changlin Wan, Zhongzhi Shi
- Abstract要約: この2つの主要な問題を解決する多重回帰関数適合ネットワークを導入する。
数理関数例と実語関数例の両方の実験により,提案手法の有効性が検証された。
- 参考スコア（独自算出の注目度）: 3.167685495996986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Function plays an important role in mathematics and many science branches. As
the fast development of computer technology, more and more study on
computational function analysis, e.g., Fast Fourier Transform, Wavelet
Transform, Curve Function, are presented in these years. However, there are two
main problems in these approaches: 1) hard to handle the complex functions of
stationary and non-stationary, periodic and non-periodic, high order and low
order; 2) hard to generalize the fitting functions from training data to test
data. In this paper, a multiple regression based function fitting network that
solves the two main problems is introduced as a predicable function fitting
technique. This technique constructs the network includes three main parts: 1)
the stationary transform layer, 2) the feature encoding layers, and 3) the fine
tuning regression layer. The stationary transform layer recognizes the order of
input function data, and transforms non-stationary function to stationary
function. The feature encoding layers encode the raw input sequential data to a
novel linear regression feature that can capture both the structural and the
temporal characters of the sequential data. The fine tuning regression layer
then fits the features to the target ahead values. The fitting network with the
linear regression feature layers and a non-linear regression layer come up with
high quality fitting results and generalizable predictions. The experiments of
both mathematic function examples and the real word function examples verifies
the efficiency of the proposed technique.
- Abstract（参考訳）: 関数は数学や多くの科学分野において重要な役割を果たす。
近年,コンピュータ技術の急速な発展に伴い,高速フーリエ変換,ウェーブレット変換,曲線関数といった計算関数解析の研究が増えている。
しかし、これらのアプローチには2つの大きな問題がある。
1) 静止・非定常・周期・非周期・高次・低次の複雑な機能を扱うことが困難である。
2) トレーニングデータからテストデータへの適合関数の一般化が困難である。
本稿では,2つの主問題を解決する多回帰関数整合ネットワークを,予測可能な関数整合手法として紹介する。
この技術はネットワークを構成する3つの主要な部分を含む。
1)定常変換層。
2) 特徴符号化層,及び
3)微調整回帰層。
定常変換層は入力関数データの順序を認識し、非定常関数を定常関数に変換する。
原入力シーケンシャルデータを符号化する特徴符号化層は、シーケンシャルデータの構造的特徴と時間的特徴の両方をキャプチャできる新しい線形回帰特徴に符号化する。
微調整回帰層は、その特徴を目標の前方値に適合させる。
線形回帰特徴層と非線形回帰層との嵌合ネットワークは、高品質な嵌合結果と一般化可能な予測を生じる。
数理関数例と実語関数例の両方の実験により,提案手法の有効性が検証された。
関連論文リスト
- Kolmogorov-Arnold Transformer [72.88137795439407]
Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。
C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。
これらの設計により、KATは従来のトランスフォーマーよりも優れている。
論文 参考訳（メタデータ） (2024-09-16T17:54:51Z) - Functional Autoencoder for Smoothing and Representation Learning [0.0]
ニューラルネットワークオートエンコーダを用いて関数データの非線形表現を学習し、前処理を必要とせず、通常収集される形式でデータを処理する。
我々は,関数データの重み付け内積と観測タイムスタンプ上の関数重み付けを演算するプロジェクション層と,関数データから抽出した有限次元ベクトルを関数空間にマッピングする回復層をデコーダを用いて設計する。
論文 参考訳（メタデータ） (2024-01-17T08:33:25Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Functional data learning using convolutional neural networks [0.0]
本稿では、回帰学習や分類学習において、畳み込みニューラルネットワークがどのように使用できるかを示す。
我々は、畳み込みニューラルネットワークの特定のが典型的なアーキテクチャを使って、すべての回帰演習を行います。
この手法は単純ではあるが精度が高く、将来は工学や医学への応用が期待できる。
論文 参考訳（メタデータ） (2023-10-05T04:46:52Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳（メタデータ） (2022-11-26T01:56:05Z) - Counterfactual Intervention Feature Transfer for Visible-Infrared Person
Re-identification [69.45543438974963]
視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。
十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。
本稿では,これらの問題に対処するためのCIFT法を提案する。
論文 参考訳（メタデータ） (2022-08-01T16:15:31Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。
いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文 参考訳（メタデータ） (2020-10-28T14:28:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。