論文の概要: Improving classifier decision boundaries using nearest neighbors

• arxiv url: http://arxiv.org/abs/2310.03927v1
• Date: Thu, 5 Oct 2023 22:11:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-10 06:14:42.123052
• Title: Improving classifier decision boundaries using nearest neighbors
• Title（参考訳）: 近傍隣人を用いた分類器決定境界の改善
• Authors: Johannes Schneider
• Abstract要約: ニューラルネットワークは最適な決定境界を学習していないことを示す。 我々は, ラベルノイズに対する耐性, (ii) 敵攻撃に対する堅牢性, (iii) 分類精度, ある程度の解釈可能性を示すために, 自己学習型および事前学習型畳み込みニューラルネットワークを用いている。
• 参考スコア（独自算出の注目度）: 1.8592384822257952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are not learning optimal decision boundaries. We show that decision boundaries are situated in areas of low training data density. They are impacted by few training samples which can easily lead to overfitting. We provide a simple algorithm performing a weighted average of the prediction of a sample and its nearest neighbors' (computed in latent space) leading to a minor favorable outcomes for a variety of important measures for neural networks. In our evaluation, we employ various self-trained and pre-trained convolutional neural networks to show that our approach improves (i) resistance to label noise, (ii) robustness against adversarial attacks, (iii) classification accuracy, and to some degree even (iv) interpretability. While improvements are not necessarily large in all four areas, our approach is conceptually simple, i.e., improvements come without any modification to network architecture, training procedure or dataset. Furthermore, they are in stark contrast to prior works that often require trade-offs among the four objectives or provide valuable, but non-actionable insights.
• Abstract（参考訳）: ニューラルネットワークは最適な決定境界を学習していない。 意思決定の境界は低いトレーニングデータ密度の領域にあることを示す。 トレーニングサンプルがほとんどないため,過度に適合することが可能になる。 サンプルとその近傍の予測値の重み付け平均(潜在空間で計算される)を実行する単純なアルゴリズムを提供することにより、ニューラルネットワークの様々な重要な尺度において、あまり好ましくない結果をもたらす。 評価では、様々な自己学習型および事前学習型畳み込みニューラルネットワークを用いて、我々のアプローチが改善したことを示す。 (i)ラベルノイズに対する耐性。 (二)敵の攻撃に対する頑強さ (iii)分類精度及びある程度 (iv)解釈可能性。 改善は4つの領域すべてにおいて必ずしも大きいとは限りませんが、私たちのアプローチは概念的にはシンプルです。 さらに、それらは、しばしば4つの目的の間のトレードオフを必要とする、または価値ある、しかし実行不可能な洞察を提供する以前の作品とは全く対照的である。

関連論文リスト

• No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths [12.068608358926317]
  1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。 2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。 以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-20T22:10:40Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Depth Uncertainty in Neural Networks [2.6763498831034043]
  ディープラーニングにおける不確実性を推定する既存の方法は、複数の前方パスを必要とする傾向がある。 フィードフォワードネットワークのシーケンシャルな構造を利用することで、トレーニング目標を評価し、単一のフォワードパスで予測を行うことができる。 実世界の回帰と画像分類タスクに対する我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2020-06-15T14:33:40Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。