論文の概要: Distributionally Robust Weighted $k$-Nearest Neighbors

• arxiv url: http://arxiv.org/abs/2006.04004v5
• Date: Wed, 16 Feb 2022 16:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 07:30:21.448526
• Title: Distributionally Robust Weighted $k$-Nearest Neighbors
• Title（参考訳）: 分布にロバストな$k$-nearestの隣人
• Authors: Shixiang Zhu and Liyan Xie and Minghe Zhang and Rui Gao and Yao Xie
• Abstract要約: 少数のサンプルから堅牢な分類器を学ぶことは、マシンラーニングにおける重要な課題である。 本稿では, 重み付き$k$-アネレスト近傍のミニマックス分布に頑健な定式化について検討する。 我々は,この関数最適化問題を効率的に解くアルゴリズムである textttDr.k-NN を開発した。
• 参考スコア（独自算出の注目度）: 21.537952410507483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a robust classifier from a few samples remains a key challenge in machine learning. A major thrust of research has been focused on developing $k$-nearest neighbor ($k$-NN) based algorithms combined with metric learning that captures similarities between samples. When the samples are limited, robustness is especially crucial to ensure the generalization capability of the classifier. In this paper, we study a minimax distributionally robust formulation of weighted $k$-nearest neighbors, which aims to find the optimal weighted $k$-NN classifiers that hedge against feature uncertainties. We develop an algorithm, \texttt{Dr.k-NN}, that efficiently solves this functional optimization problem and features in assigning minimax optimal weights to training samples when performing classification. These weights are class-dependent, and are determined by the similarities of sample features under the least favorable scenarios. When the size of the uncertainty set is properly tuned, the robust classifier has a smaller Lipschitz norm than the vanilla $k$-NN, and thus improves the generalization capability. We also couple our framework with neural-network-based feature embedding. We demonstrate the competitive performance of our algorithm compared to the state-of-the-art in the few-training-sample setting with various real-data experiments.
• Abstract（参考訳）: 少数のサンプルから堅牢な分類器を学ぶことは、機械学習の重要な課題である。 研究の大きな推進力は、サンプル間の類似性を捉えるメトリック学習と組み合わせて、$k$-nearest(k$-NN)ベースのアルゴリズムの開発に焦点を当てている。 サンプルが限定された場合、分類器の一般化能力を保証するためにロバスト性は特に重要である。 本稿では,重み付き$k$-nearest近傍の最小分布的ロバストな定式化について検討し,特徴の不確実性に対してヘッジする最適重み付き$k$-nn分類器を求める。 我々は,この関数最適化問題を効率的に解くためのアルゴリズムである \texttt{dr.k-nn} を開発し,分類を行う際のサンプルの訓練にミニマックス最適重みを割り当てる特徴について述べる。 これらの重みはクラスに依存し、最も好ましくないシナリオでサンプルの特徴の類似性によって決定される。 不確実集合のサイズが適切に調整されると、ロバスト分類器はバニラ$k$-NNよりも小さなリプシッツノルムを持ち、したがって一般化能力を向上させる。 私たちはまた、ニューラルネットワークベースの機能埋め込みとフレームワークを結合します。 種々の実データ実験による少数のトレーニングサンプル設定において, 最先端のアルゴリズムと比較して, アルゴリズムの競合性能を実証する。

関連論文リスト

• Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
  我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。 多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-08T13:08:45Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Under-bagging Nearest Neighbors for Imbalanced Classification [63.026765294759876]
  我々は,不均衡な分類問題に対して,textitunder-bagging $k$-NN (textitunder-bagging $k$-NN) というアンサンブル学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-01T14:10:38Z)
• GOALS: Gradient-Only Approximations for Line Searches Towards Robust and Consistent Training of Deep Neural Networks [0.0]
  ミニバッチサブサンプリング(MBSS)は、計算コストを削減するために、ディープニューラルネットワークトレーニングで好まれる。 最適性基準が定義された強い収束特性を持つ勾配限定近似線探索(GOALS)を提案する。
  論文  参考訳（メタデータ） (2021-05-23T11:21:01Z)
• Active Structure Learning of Bayesian Networks in an Observational Setting [21.376800678915558]
  観測環境におけるベイズネットワークのアクティブ構造学習について検討した。 本稿では,高い確率で最適なスコアに対して$epsilon$-closeのスコアを持つ構造を求める,新しい能動学習アルゴリズムを提案する。 安定」と呼ばれる分布のクラスについて、$d$がネットワーク変数の数である$widetildeOmega(d3)$の係数までのサンプル複雑さの減少が得られることを示しています。
  論文  参考訳（メタデータ） (2021-03-25T12:50:14Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Towards Deep Learning Models Resistant to Large Perturbations [0.0]
  敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。 とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
  論文  参考訳（メタデータ） (2020-03-30T12:03:09Z)
• Stochastic Proximal Gradient Algorithm with Minibatches. Application to Large Scale Learning Models [2.384873896423002]
  非滑らかな成分を持つ汎用合成対象関数に対する勾配アルゴリズムのミニバッチ変種を開発し解析する。 我々は、最小バッチサイズ$N$に対して、$mathcalO(frac1Nepsilon)$$epsilon-$subityが最適解に期待される二次距離で達成されるような、定数および変数のステップサイズ反復ポリシーの複雑さを提供する。
  論文  参考訳（メタデータ） (2020-03-30T10:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。