Fugu-MT 論文翻訳(概要): On Feature Scaling of Recursive Feature Machines

論文の概要: On Feature Scaling of Recursive Feature Machines

arxiv url: http://arxiv.org/abs/2303.15745v1
Date: Tue, 28 Mar 2023 06:00:41 GMT
ステータス: 処理完了
システム内更新日: 2023-03-29 16:22:42.338911
Title: On Feature Scaling of Recursive Feature Machines
Title（参考訳）: 再帰的特徴マシンの機能スケーリングについて
Authors: Arunav Gupta, Rohit Mishra, William Luu, Mehdi Bouassami
Abstract要約: 再帰的特徴機械(RFM)の挙動について検討する RFMは平均外積勾配によって特徴を学習する。平均正方形誤差(MSE)曲線の興味あるパターンをMSE試験で観察し, 増加・減少パターンを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this technical report, we explore the behavior of Recursive Feature Machines (RFMs), a type of novel kernel machine that recursively learns features via the average gradient outer product, through a series of experiments on regression datasets. When successively adding random noise features to a dataset, we observe intriguing patterns in the Mean Squared Error (MSE) curves with the test MSE exhibiting a decrease-increase-decrease pattern. This behavior is consistent across different dataset sizes, noise parameters, and target functions. Interestingly, the observed MSE curves show similarities to the "double descent" phenomenon observed in deep neural networks, hinting at new connection between RFMs and neural network behavior. This report lays the groundwork for future research into this peculiar behavior.
Abstract（参考訳）: 本報告では,回帰データセットに関する一連の実験を通じて,平均勾配外積を用いて再帰的に特徴を学習する,新しいカーネルマシンの一種である再帰的特徴機械(rfms)の挙動を考察する。データセットにランダムノイズ特徴を連続的に付加すると、平均正方形誤差曲線(MSE)の興味深いパターンが観察され、MSEは減少・減少パターンを示す。この振る舞いは、異なるデータセットサイズ、ノイズパラメータ、ターゲット関数間で一貫性がある。興味深いことに、観測されたmse曲線はディープニューラルネットワークで観測される「二重降下」現象と類似しており、rfmとニューラルネットワークの振る舞いの新たな関係を示唆している。この報告は、この特異な行動に関する今後の研究の土台となるものである。

関連論文リスト

Noise-Resilient Unsupervised Graph Representation Learning via Multi-Hop Feature Quality Estimation [53.91958614666386]
グラフニューラルネットワーク(GNN)に基づく教師なしグラフ表現学習(UGRL) マルチホップ特徴量推定(MQE)に基づく新しいUGRL法を提案する。
論文参考訳（メタデータ） (2024-07-29T12:24:28Z)
Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文参考訳（メタデータ） (2023-08-29T15:01:01Z)
Deep Graph Reprogramming [112.34663053130073]
グラフニューラルネットワーク(GNN)に適したタスク再利用モデル「ディープグラフ再プログラミング」本稿では,モデル再プログラミングパラダイムと並行して,革新的なデータ再プログラミングパラダイムを提案する。
論文参考訳（メタデータ） (2023-04-28T02:04:29Z)
Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文参考訳（メタデータ） (2023-04-08T07:55:36Z)
Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning [2.31120983784623]
放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。 SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
論文参考訳（メタデータ） (2022-11-15T05:29:58Z)
The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文参考訳（メタデータ） (2021-08-25T22:01:01Z)
Sparsely constrained neural networks for model discovery of PDEs [0.0]
本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
論文参考訳（メタデータ） (2020-11-09T11:02:40Z)
Probabilistic Numeric Convolutional Neural Networks [80.42120128330411]
画像や時系列などの連続的な入力信号は、不規則にサンプリングされたり、値が欠けていたりすることは、既存のディープラーニング手法では困難である。ガウス過程(GP)として特徴を表す確率的畳み込みニューラルネットワークを提案する。次に、畳み込み層を、このGP上で定義されたPDEの進化として定義し、次いで非線形性とする。実験では,SuperPixel-MNISTデータセットの先行技術と医療時間2012データセットの競合性能から,提案手法の誤差を3倍に削減できることが示されている。
論文参考訳（メタデータ） (2020-10-21T10:08:21Z)
Bayesian neural networks and dimensionality reduction [4.039245878626346]
そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。 VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
論文参考訳（メタデータ） (2020-08-18T17:11:07Z)
NeuMiss networks: differentiable programming for supervised learning with missing values [0.0]
線形性仮定の下で最適予測器の解析形式を導出する。我々はNeuMissネットワークという新しい原則アーキテクチャを提案する。パラメータの数と、欠落したデータパターンの数に依存しない計算複雑性の両方で、予測精度が良い。
論文参考訳（メタデータ） (2020-07-03T11:42:25Z)
Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
合成データセットの一般線形回帰と分類について検討した。我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
論文参考訳（メタデータ） (2020-02-21T14:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。