論文の概要: DNNR: Differential Nearest Neighbors Regression
- arxiv url: http://arxiv.org/abs/2205.08434v1
- Date: Tue, 17 May 2022 15:22:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 13:53:18.639184
- Title: DNNR: Differential Nearest Neighbors Regression
- Title(参考訳): DNNR: 隣り合う隣人の違い
- Authors: Youssef Nader, Leon Sixt, Tim Landgraf
- Abstract要約: K-nearest neighbors(KNN)は、機械学習において最も早く、最も確立されたアルゴリズムの1つである。
回帰タスクでは、KNNは、多くの課題を引き起こす地区内のターゲットを平均化する。
両問題に同時に対処するDNNR(differial Nearest Neighbors Regression)を提案する。
- 参考スコア(独自算出の注目度): 8.667550264279166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: K-nearest neighbors (KNN) is one of the earliest and most established
algorithms in machine learning. For regression tasks, KNN averages the targets
within a neighborhood which poses a number of challenges: the neighborhood
definition is crucial for the predictive performance as neighbors might be
selected based on uninformative features, and averaging does not account for
how the function changes locally. We propose a novel method called Differential
Nearest Neighbors Regression (DNNR) that addresses both issues simultaneously:
during training, DNNR estimates local gradients to scale the features; during
inference, it performs an n-th order Taylor approximation using estimated
gradients. In a large-scale evaluation on over 250 datasets, we find that DNNR
performs comparably to state-of-the-art gradient boosting methods and MLPs
while maintaining the simplicity and transparency of KNN. This allows us to
derive theoretical error bounds and inspect failures. In times that call for
transparency of ML models, DNNR provides a good balance between performance and
interpretability.
- Abstract(参考訳): K-nearest neighbors (KNN) は機械学習において最も早く確立されたアルゴリズムの1つである。
地区の定義は、非形式的特徴に基づいて隣人が選択される可能性があり、平均化は、関数が局所的にどのように変化するかを考慮しないため、予測性能に不可欠である。
そこで本研究では,DNNRの学習において,局所勾配を推定して特徴を拡張させるDNNR(differial Nearest Neighbors Regression)という手法を提案する。
250以上のデータセットを大規模に評価した結果,dnnrはnnの単純さと透明性を維持しつつ,最先端の勾配強調法とmlpとを両立できることがわかった。
これにより、理論上のエラー境界を導出し、障害を検査できます。
MLモデルの透明性を求める場合、DNNRはパフォーマンスと解釈可能性のバランスが良くなります。
関連論文リスト
- INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。
我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。
4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
論文 参考訳(メタデータ) (2023-06-10T08:39:16Z) - Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。
我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
論文 参考訳(メタデータ) (2023-04-24T02:28:03Z) - Variational Sparse Coding with Learned Thresholding [6.737133300781134]
サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。
まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
論文 参考訳(メタデータ) (2022-05-07T14:49:50Z) - Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。
従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。
ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
論文 参考訳(メタデータ) (2021-05-27T09:27:42Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳(メタデータ) (2021-03-01T15:55:58Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - RNN Training along Locally Optimal Trajectories via Frank-Wolfe
Algorithm [50.76576946099215]
小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。
新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
論文 参考訳(メタデータ) (2020-10-12T01:59:18Z) - A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。
その結果,提案手法は勾配法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-10-06T11:12:23Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。