論文の概要: Twin Neural Network Improved k-Nearest Neighbor Regression
- arxiv url: http://arxiv.org/abs/2310.00664v1
- Date: Sun, 1 Oct 2023 13:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 02:36:23.040569
- Title: Twin Neural Network Improved k-Nearest Neighbor Regression
- Title(参考訳): ツインニューラルネットワークによるkネアレスト近傍回帰の改善
- Authors: Sebastian J. Wetzel
- Abstract要約: ツインニューラルネットワークレグレッションは、ターゲット自体よりもレグレッションターゲットの違いを予測するために訓練される。
未知のデータポイントのターゲットと既知の複数のアンカーデータポイントとの予測差をアンカーに組み込むことで、元の回帰問題の解を得ることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Twin neural network regression is trained to predict differences between
regression targets rather than the targets themselves. A solution to the
original regression problem can be obtained by ensembling predicted differences
between the targets of an unknown data point and multiple known anchor data
points. Choosing the anchors to be the nearest neighbors of the unknown data
point leads to a neural network-based improvement of k-nearest neighbor
regression. This algorithm is shown to outperform both neural networks and
k-nearest neighbor regression on small to medium-sized data sets.
- Abstract(参考訳): ツインニューラルネットワーク回帰は、ターゲット自体よりも回帰目標の違いを予測するために訓練される。
未知のデータポイントのターゲットと既知の複数のアンカーデータポイントとの予測差をアンカーに組み込むことで、元の回帰問題の解を得ることができる。
未知のデータポイントの最も近い隣人となるアンカーを選択すると、k-ネアレスト近傍回帰がニューラルネットワークベースで改善される。
このアルゴリズムは、小~中規模のデータセット上で、ニューラルネットワークとk-アネレスの近接回帰の両方より優れている。
関連論文リスト
- SIRST-5K: Exploring Massive Negatives Synthesis with Self-supervised
Learning for Robust Infrared Small Target Detection [53.19618419772467]
単一フレーム赤外線小ターゲット検出(SIRST)は、乱雑な背景から小さなターゲットを認識することを目的としている。
Transformerの開発に伴い、SIRSTモデルのスケールは常に増大している。
赤外線小ターゲットデータの多彩な多様性により,本アルゴリズムはモデル性能と収束速度を大幅に改善する。
論文 参考訳(メタデータ) (2024-03-08T16:14:54Z) - Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU
Networks on Nearly-orthogonal Data [66.1211659120882]
好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。
勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
論文 参考訳(メタデータ) (2023-10-29T08:47:48Z) - How to get the most out of Twinned Regression Methods [0.0]
双対回帰法は、元の回帰問題の双対問題を解くために設計されている。
未知のデータポイントのターゲットと既知の複数のアンカーデータポイントとの予測差をアンカーに組み込むことで、元の回帰問題の解を得ることができる。
論文 参考訳(メタデータ) (2023-01-03T22:37:44Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳(メタデータ) (2022-12-05T14:47:52Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳(メタデータ) (2022-10-13T15:09:54Z) - Twin Neural Network Regression is a Semi-Supervised Regression Algorithm [0.90238471756546]
ツインニューラルネットワーク回帰(TNNR)は、半教師付き回帰アルゴリズムである。
TNNRは、ターゲット自体ではなく、2つの異なるデータポイントのターゲット値の違いを予測するように訓練されている。
論文 参考訳(メタデータ) (2021-06-11T02:10:52Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Finding hidden-feature depending laws inside a data set and classifying
it using Neural Network [0.0]
ニューラルネットワークのlogcosh損失関数は、異常値の重み付けを行わない絶対誤差損失関数の利点と、平均付近における連続微分の平均二乗誤差の利点を組み合わせるために開発された。
本研究は,logcosh損失を持つ人工ニューラルネットワークを用いてパラメータ-アウトカムサンプルセットのセット値マッピングの分岐を探索し,それらの分岐に従ってサンプルを分類する手法を提案する。
論文 参考訳(メタデータ) (2021-01-25T21:37:37Z) - Twin Neural Network Regression [0.802904964931021]
ツインニューラルネットワーク(TNN)レグレッションを導入する。
本手法は,ターゲット自体ではなく,2つの異なるデータポイントの目標値の違いを予測する。
TNNは、他の最先端手法と比較して、異なるデータセットに対してより正確な予測を行うことができることを示す。
論文 参考訳(メタデータ) (2020-12-29T17:52:31Z) - Measurement error models: from nonparametric methods to deep neural
networks [3.1798318618973362]
本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。
完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。
我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
論文 参考訳(メタデータ) (2020-07-15T06:05:37Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。