論文の概要: DNNR: Differential Nearest Neighbors Regression

• arxiv url: http://arxiv.org/abs/2205.08434v1
• Date: Tue, 17 May 2022 15:22:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 13:53:18.639184
• Title: DNNR: Differential Nearest Neighbors Regression
• Title（参考訳）: DNNR: 隣り合う隣人の違い
• Authors: Youssef Nader, Leon Sixt, Tim Landgraf
• Abstract要約: K-nearest neighbors(KNN)は、機械学習において最も早く、最も確立されたアルゴリズムの1つである。 回帰タスクでは、KNNは、多くの課題を引き起こす地区内のターゲットを平均化する。 両問題に同時に対処するDNNR(differial Nearest Neighbors Regression)を提案する。
• 参考スコア（独自算出の注目度）: 8.667550264279166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: K-nearest neighbors (KNN) is one of the earliest and most established algorithms in machine learning. For regression tasks, KNN averages the targets within a neighborhood which poses a number of challenges: the neighborhood definition is crucial for the predictive performance as neighbors might be selected based on uninformative features, and averaging does not account for how the function changes locally. We propose a novel method called Differential Nearest Neighbors Regression (DNNR) that addresses both issues simultaneously: during training, DNNR estimates local gradients to scale the features; during inference, it performs an n-th order Taylor approximation using estimated gradients. In a large-scale evaluation on over 250 datasets, we find that DNNR performs comparably to state-of-the-art gradient boosting methods and MLPs while maintaining the simplicity and transparency of KNN. This allows us to derive theoretical error bounds and inspect failures. In times that call for transparency of ML models, DNNR provides a good balance between performance and interpretability.
• Abstract（参考訳）: K-nearest neighbors (KNN) は機械学習において最も早く確立されたアルゴリズムの1つである。 地区の定義は、非形式的特徴に基づいて隣人が選択される可能性があり、平均化は、関数が局所的にどのように変化するかを考慮しないため、予測性能に不可欠である。 そこで本研究では,DNNRの学習において,局所勾配を推定して特徴を拡張させるDNNR(differial Nearest Neighbors Regression)という手法を提案する。 250以上のデータセットを大規模に評価した結果,dnnrはnnの単純さと透明性を維持しつつ,最先端の勾配強調法とmlpとを両立できることがわかった。 これにより、理論上のエラー境界を導出し、障害を検査できます。 MLモデルの透明性を求める場合、DNNRはパフォーマンスと解釈可能性のバランスが良くなります。

関連論文リスト

• Approximation Bounds for Recurrent Neural Networks with Application to Regression [7.723218675113336]
  深部ReLUリカレントニューラルネットワーク(RNN)の近似能力について検討し,RNNを用いた非パラメトリック最小二乗回帰の収束特性について検討した。 H" の滑らかな関数に対する RNN の近似誤差の上限を導出する。 以上の結果から,RNNの性能に関する統計的保証が得られる。
  論文  参考訳（メタデータ） (2024-09-09T13:02:50Z)
• Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
  我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。 多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-08T13:08:45Z)
• Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
  本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。 我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
  論文  参考訳（メタデータ） (2023-04-24T02:28:03Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm [50.76576946099215]
  小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。 新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
  論文  参考訳（メタデータ） (2020-10-12T01:59:18Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。