論文の概要: Evolutionary Adaptive Neighborhood Learning: A Genetic Algorithm for Instance-Dependent k Optimization in Nearest Neighbor Classification
- arxiv url: http://arxiv.org/abs/2611.07257v1
- Date: Thu, 05 Nov 2026 00:14:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.474824
- Title: Evolutionary Adaptive Neighborhood Learning: A Genetic Algorithm for Instance-Dependent k Optimization in Nearest Neighbor Classification
- Title(参考訳): 進化的適応的近隣学習:最近近傍分類におけるインスタンス依存k最適化のための遺伝的アルゴリズム
- Abstract要約: 低次元ポリシーを用いて局所近傍記述子を適応数k(x)にマッピングするEANK(Evolutionary Adaptive Neighborhood K)を提案する。
本手法の理論的性質として, トレーニング基準, 進化収束, ポリシーの正則性, 一般化保証に対するグローバルkソリューションの優位性について検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The number of neighbours k is the central hyperparameter of the k-nearest neighbour (k-NN) classifier and is usually selected globally through cross-validation or evolutionary search. However, the bias-variance trade-off is inherently local: dense and noise-free regions may favour small neighbourhoods, whereas sparse or noisy regions may require larger ones. Since global-k optimization is one-dimensional, replacing exhaustive search with a genetic algorithm offers little computational advantage. We therefore optimize an instance-dependent neighbourhood policy instead. We propose EANK (Evolutionary Adaptive Neighborhood K), which uses a low-dimensional policy to map local neighbourhood descriptors, including density, label entropy, vote margin, and concentration, to an adaptive number of neighbours k(x). A real-coded elitist genetic algorithm optimizes this policy using leave-one-out accuracy with a neighbourhood-smoothness penalty. Precomputed neighbour votes reduce fitness evaluation costs. We investigate theoretical properties of the method, including dominance over global-k solutions on the training criterion, evolutionary convergence, policy regularity, and generalization guarantees. Experiments on synthetic data with spatially heterogeneous structure and twelve public datasets evaluate predictive performance, robustness, and computational cost. Under nested cross-validation, EANK achieves competitive performance relative to tuned global-k baselines and improves upon the default k=5. We also examine the gap between training and test performance to assess the practical value of adaptive neighbourhood selection.
- Abstract(参考訳): 隣人の数kはk-アネレスト近傍(k-NN)分類器の中央のハイパーパラメータであり、通常はクロスバリデーションまたは進化探索によって全世界で選択される。
しかし、バイアス分散トレードオフは本質的に局所的であり、密度の高い、ノイズのない領域は小さな地区を好むが、疎い領域やノイズの多い領域はより大きな地域を必要とする。
グローバルk最適化は1次元であるため、徹底的な探索を遺伝的アルゴリズムに置き換えることは、計算上の優位性はほとんどない。
したがって、我々は代わりにインスタンス依存の近隣ポリシーを最適化する。
そこで, EANK (Evolutionary Adaptive Neighborhood K) を提案する。これは, 低次元ポリシーを用いて, 密度, ラベルエントロピー, 投票率, 集中度などの局所的記述子を, 適応数k(x) にマッピングする。
実コード化されたエリート主義の遺伝的アルゴリズムは、近辺の滑らかさのペナルティを使って、このポリシーを最適化する。
事前計算された隣人票は、フィットネス評価コストを削減します。
本手法の理論的性質として, トレーニング基準, 進化収束, ポリシーの正則性, 一般化保証に対するグローバルkソリューションの優位性について検討する。
空間的に不均一な構造を持つ合成データと12の公開データセットの実験は、予測性能、ロバスト性、計算コストを評価する。
ネストされたクロスバリデーションの下では、EANKはチューニングされたグローバルkベースラインに対して競合性能を達成し、デフォルトのk=5で改善する。
また,適応的近傍選択の実践的価値を評価するために,訓練と試験性能のギャップについても検討した。
関連論文リスト
- Generative Models as Adaptive Trust Regions for Discrete Bayesian Optimisation [9.908255188715279]
我々はGenTuRBOを導入し、信頼領域を事前訓練されたジェネレータによって定義された適応的にスケールされた提案分布に置き換える。
GenTuRBOは3つの領域にまたがって強く働き、エルリッヒ列の最適化とソコバンのコーディネートにおける最高スコアを達成している。
論文 参考訳(メタデータ) (2026-10-12T15:44:06Z) - Curvature-Aware Radius Shrinkage for Adaptive Nearest Neighbor Classification [52.452902154360565]
CARSANNは、局所的な幾何学的複雑さに応じて各地区の空間的支持を適応する幾何学駆動のフレームワークである。
70以上の実世界のOpenMLデータセットの実験は、CARSANNが標準の$k$-NNで一貫して改善されていることを示している。
論文 参考訳(メタデータ) (2026-08-27T19:19:07Z) - Adaptive $k$ Nearest Neighbors Classifier via Granular Ball Computing [60.23863579199315]
k$-Nearest Neighbor(KNN)アルゴリズムは様々なタスクで広く使われている。
本稿では,粒度計算による適応的かつ効率的なKNN手法を提案する。
論文 参考訳(メタデータ) (2026-08-13T07:39:46Z) - Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。
多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
論文 参考訳(メタデータ) (2024-09-08T13:08:45Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-12T15:12:17Z) - Tune it the Right Way: Unsupervised Validation of Domain Adaptation via
Soft Neighborhood Density [125.64297244986552]
本稿では,点間の類似度分布のエントロピーを計算し,ソフト近傍の密度を測定する教師なし検証基準を提案する。
私たちの基準は、競合する検証方法よりもシンプルですが、より効果的です。
論文 参考訳(メタデータ) (2021-08-24T17:41:45Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - Distributed Adaptive Nearest Neighbor Classifier: Algorithm and Theory [6.696267547013535]
そこで本研究では,データ駆動基準によりパラメータ選択された,近接する隣人の数がパラメータとなる分散適応型NN分類器を提案する。
有限標本性能を向上する最適チューニングパラメータを探索する際,早期停止規則を提案する。
特に、サブサンプルサイズが十分に大きい場合、提案した分類器がほぼ最適な収束率を達成することを示す。
論文 参考訳(メタデータ) (2021-05-20T14:38:41Z) - Numerical Comparison of Neighbourhood Topologies in Particle Swarm
Optimization [0.0]
本稿では,5つの異なる近傍トポロジと4つの異なる係数の設定で表される性能を比較した。
最適位相は問題に依存しているにもかかわらず、相互接続の数を持つ動的近傍が望ましいと考えられる。
論文 参考訳(メタデータ) (2021-01-25T09:23:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。