論文の概要: Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning
- arxiv url: http://arxiv.org/abs/2311.10246v1
- Date: Fri, 17 Nov 2023 00:35:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 15:28:37.677962
- Title: Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning
- Title（参考訳）: surprisal driven $k$-nn によるロバストで解釈可能な非パラメトリック学習
- Authors: Amartya Banerjee, Christopher J. Hazard, Jacob Beel, Cade Mack, Jack
Xia, Michael Resnick, Will Goddin
- Abstract要約: 我々は情報理論の観点から、隣接する$k$-nearest(k$-NN)アルゴリズムに新たな光を当てた。
本稿では,単一モデルを用いた分類,回帰,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
このアーキテクチャは、分類、回帰、異常検出タスクにおける最先端以上の処理を行う能力を示す。
- 参考スコア（独自算出の注目度）: 1.4293924404819704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nonparametric learning is a fundamental concept in machine learning that aims
to capture complex patterns and relationships in data without making strong
assumptions about the underlying data distribution. Owing to simplicity and
familiarity, one of the most well-known algorithms under this paradigm is the
$k$-nearest neighbors ($k$-NN) algorithm. Driven by the usage of machine
learning in safety-critical applications, in this work, we shed new light on
the traditional nearest neighbors algorithm from the perspective of information
theory and propose a robust and interpretable framework for tasks such as
classification, regression, and anomaly detection using a single model. Instead
of using a traditional distance measure which needs to be scaled and
contextualized, we use a novel formulation of \textit{surprisal} (amount of
information required to explain the difference between the observed and
expected result). Finally, we demonstrate this architecture's capability to
perform at-par or above the state-of-the-art on classification, regression, and
anomaly detection tasks using a single model with enhanced interpretability by
providing novel concepts for characterizing data and predictions.
- Abstract（参考訳）: 非パラメトリック学習は、基礎となるデータ分布について強い仮定をすることなく、データの複雑なパターンや関係をキャプチャすることを目的とした機械学習の基本的な概念である。
単純さと精通性から、このパラダイムで最もよく知られているアルゴリズムの1つは、$k$-nearest neighbors(k$-NN)アルゴリズムである。
本研究は,安全クリティカルなアプリケーションにおける機械学習の利用により,情報理論の観点から,従来の近接近傍アルゴリズムに新たな光を当て,単一モデルを用いた分類,回帰,異常検出などのタスクに対して頑健で解釈可能なフレームワークを提案する。
拡張と文脈化が必要な従来の距離測度を使う代わりに、新しい定式化「textit{surprisal}」(観測結果と予測結果の差を説明するのに必要な情報の量)を用いる。
最後に,データと予測を特徴付ける新たな概念を提供することにより,解釈性が向上した単一モデルを用いて,分類,回帰,異常検出タスクの最先端以上でこのアーキテクチャを実行できることを示す。
関連論文リスト
- Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - An Entropy-Based Model for Hierarchical Learning [3.1473798197405944]
実世界のデータセットに共通する特徴は、データドメインがマルチスケールであることである。
本稿では,このマルチスケールデータ構造を利用した学習モデルを提案する。
階層的な学習モデルは、人間の論理的かつ進歩的な学習メカニズムにインスパイアされている。
論文 参考訳（メタデータ） (2022-12-30T13:14:46Z) - Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
情報理論AEPに基づく信頼性学習の理論的保証を提供する。
次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。
実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
論文 参考訳（メタデータ） (2022-09-28T17:33:11Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Bounding Information Leakage in Machine Learning [26.64770573405079]
本稿では,情報漏洩の基本的な境界について検討する。
最悪の会員推論攻撃の成功率を特定し、拘束します。
感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
論文 参考訳（メタデータ） (2021-05-09T08:49:14Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - A bandit-learning approach to multifidelity approximation [7.960229223744695]
マルチファイデリティ近似は、科学計算とシミュレーションにおいて重要な技術である。
異なる忠実度のデータを利用して正確な推定を行うためのバンディットラーニング手法を紹介します。
論文 参考訳（メタデータ） (2021-03-29T05:29:35Z) - Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。
線形化ネットワークを用いてこれらの量の効率的な近似を行う。
本稿では,データセットの要約など,いくつかの問題に適用する。
論文 参考訳（メタデータ） (2021-01-17T10:29:29Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z) - Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights [16.538973310830414]
望ましい事前分類は、重みをコンパクトに表現し、重み間の相関を捉え、事前知識を含ませることである。
i) 相関重み構造を柔軟にエンコード可能な単位埋め込みに基づくネットワーク重みのプロセスベース階層モデルと,(ii) 関数空間の規則化に便利な入力依存型の重み前のモデルを提案する。
これらのモデルは、分布外データに基づいて望ましいテスト時間不確実性推定を提供し、カーネルを用いたニューラルネットワークの帰納バイアスをモデル化する事例を示し、アクティブラーニングベンチマークで競合予測性能を示す。
論文 参考訳（メタデータ） (2020-02-10T07:19:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。