論文の概要: A Simple Nadaraya-Watson Head can offer Explainable and Calibrated Classification

• arxiv url: http://arxiv.org/abs/2212.03411v1
• Date: Wed, 7 Dec 2022 02:43:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 16:16:34.660979
• Title: A Simple Nadaraya-Watson Head can offer Explainable and Calibrated Classification
• Title（参考訳）: 簡易なNadaraya-Watsonヘッドによる説明可能な分類
• Authors: Alan Q. Wang and Mert R. Sabuncu
• Abstract要約: Nadaraya-Watson(NW)予測ヘッドは、任意のニューラルネットワークアーキテクチャで使用することができる。 NW予測は、サポートセットからのラベルの重み付き平均である。
• 参考スコア（独自算出の注目度）: 15.245936854932374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we empirically analyze a simple, non-learnable, and nonparametric Nadaraya-Watson (NW) prediction head that can be used with any neural network architecture. In the NW head, the prediction is a weighted average of labels from a support set. The weights are computed from distances between the query feature and support features. This is in contrast to the dominant approach of using a learnable classification head (e.g., a fully-connected layer) on the features, which can be challenging to interpret and can yield poorly calibrated predictions. Our empirical results on an array of computer vision tasks demonstrate that the NW head can yield better calibration than its parametric counterpart, while having comparable accuracy and with minimal computational overhead. To further increase inference-time efficiency, we propose a simple approach that involves a clustering step run on the training set to create a relatively small distilled support set. In addition to using the weights as a means of interpreting model predictions, we further present an easy-to-compute "support influence function," which quantifies the influence of a support element on the prediction for a given query. As we demonstrate in our experiments, the influence function can allow the user to debug a trained model. We believe that the NW head is a flexible, interpretable, and highly useful building block that can be used in a range of applications.
• Abstract（参考訳）: 本稿では,任意のニューラルネットワークアーキテクチャで使用可能な,単純で非学習可能で非パラメトリックなnadaraya-watson(nw)予測ヘッドを経験的に解析する。 NWヘッドでは、予測はサポートセットからのラベルの重み付き平均である。 ウェイトは、クエリ機能とサポート機能の間の距離から計算される。 これは、特徴に学習可能な分類ヘッド(例えば、完全連結層)を使用することによる支配的なアプローチとは対照的であり、解釈が困難であり、校正が不十分な予測をもたらす可能性がある。 コンピュータビジョンタスクの一連の実験結果から,nwヘッドはパラメトリックヘッドよりも優れた校正を得られるが,同等の精度と計算オーバーヘッドは最小であることが示された。 推論時間効率をさらに高めるために,比較的小さな蒸留サポートセットを作成するために,トレーニングセット上で実行されるクラスタリングステップを含む簡単なアプローチを提案する。 モデル予測を解釈する手段として重み付けを用いることに加えて、与えられたクエリの予測に対するサポート要素の影響を定量化する、計算の容易な"サポート影響関数"も提示する。 我々の実験で示したように、影響関数はユーザーがトレーニングされたモデルをデバッグすることができる。 NWヘッドは柔軟性があり、解釈可能で、非常に有用なビルディングブロックであり、様々なアプリケーションで使用できます。

関連論文リスト

• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs [49.547988001231424]
  効率的かつ適応的な予測を実現するために,ワンショットサブグラフリンク予測を提案する。 設計原理は、KG全体に直接作用する代わりに、予測手順を2つのステップに分離する。 5つの大規模ベンチマークにおいて,効率の向上と性能の向上を実現している。
  論文  参考訳（メタデータ） (2024-03-15T12:00:12Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• PPI++: Efficient Prediction-Powered Inference [31.403415618169433]
  PPI++: 小さなラベル付きデータセットと、通常より大きな機械学習予測データセットに基づく推定と推測の方法論を提案する。 これらの手法は、利用可能な予測の品質に自動的に適応し、容易に計算可能な信頼セットを得る。 PPI++は予測駆動推論(PPI)に基づいており、同じ問題設定をターゲットとし、計算効率と統計効率を改善している。
  論文  参考訳（メタデータ） (2023-11-02T17:59:04Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• SCAI: A Spectral data Classification framework with Adaptive Inference for the IoT platform [0.0]
  適応推論を用いたスペクトルデータ分類フレームワークを提案する。 具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。 我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
  論文  参考訳（メタデータ） (2022-06-24T09:22:52Z)
• Query-Adaptive Predictive Inference with Partial Labels [0.0]
  ブラックボックス予測モデル上に部分的にラベル付けされたデータのみを用いて予測集合を構築する新しい手法を提案する。 我々の実験は、予測セット構築の有効性と、よりフレキシブルなユーザ依存損失フレームワークの魅力を強調した。
  論文  参考訳（メタデータ） (2022-06-15T01:48:42Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。