論文の概要: Natural Learning

• arxiv url: http://arxiv.org/abs/2404.05903v1
• Date: Mon, 8 Apr 2024 23:15:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 16:28:06.449128
• Title: Natural Learning
• Title（参考訳）: 自然学習
• Authors: Hadi Fanaee-T,
• Abstract要約: 我々は,機械学習の説明可能性と解釈可能性を極端に高める新しいアルゴリズムであるNatural Learning (NL)を紹介した。 実生活のデータセットに適用すると、NLは素晴らしい結果をもたらす。 17のベンチマークデータセットによるNLの評価は、決定木やロジスティック回帰と比較して顕著な性能低下を示している。
• 参考スコア（独自算出の注目度）: 0.65268245109828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Natural Learning (NL), a novel algorithm that elevates the explainability and interpretability of machine learning to an extreme level. NL simplifies decisions into intuitive rules, like "We rejected your loan because your income, employment status, and age collectively resemble a rejected prototype more than an accepted prototype." When applied to real-life datasets, NL produces impressive results. For example, in a colon cancer dataset with 1545 patients and 10935 genes, NL achieves 98.1% accuracy, comparable to DNNs and RF, by analyzing just 3 genes of test samples against 2 discovered prototypes. Similarly, in the UCI's WDBC dataset, NL achieves 98.3% accuracy using only 7 features and 2 prototypes. Even on the MNIST dataset (0 vs. 1), NL achieves 99.5% accuracy with only 3 pixels from 2 prototype images. NL is inspired by prototype theory, an old concept in cognitive psychology suggesting that people learn single sparse prototypes to categorize objects. Leveraging this relaxed assumption, we redesign Support Vector Machines (SVM), replacing its mathematical formulation with a fully nearest-neighbor-based solution, and to address the curse of dimensionality, we utilize locality-sensitive hashing. Following theory's generalizability principle, we propose a recursive method to prune non-core features. As a result, NL efficiently discovers the sparsest prototypes in O(n^2pL) with high parallelization capacity in terms of n. Evaluation of NL with 17 benchmark datasets shows its significant outperformance compared to decision trees and logistic regression, two methods widely favored in healthcare for their interpretability. Moreover, NL achieves performance comparable to finetuned black-box models such as deep neural networks and random forests in 40% of cases, with only a 1-2% lower average accuracy. The code is available via http://natural-learning.cc.
• Abstract（参考訳）: 我々は,機械学習の説明可能性と解釈可能性を極端に高める新しいアルゴリズムであるNatural Learning (NL)を紹介した。 NLは、決定を直感的なルールに単純化する。例えば、「我々はあなたの収入、雇用状況、年齢が、承認されたプロトタイプ以上の拒否されたプロトタイプに似ているため、あなたのローンを拒絶した」。 実生活のデータセットに適用すると、NLは素晴らしい結果をもたらす。 例えば、1545人の患者と10935の遺伝子を持つ大腸癌データセットでは、NLはDNNとRFに匹敵する98.1%の精度を達成し、2つの発見されたプロトタイプに対してわずか3つのテストサンプルの遺伝子しか分析していない。 同様に、UCIのWDBCデータセットでは、NLは7つの機能と2つのプロトタイプのみを使用して98.3%の精度を達成する。 MNISTデータセット(0 vs. 1)でも、NLは99.5%の精度で、2つのプロトタイプ画像から3ピクセルしか取得できない。 NLは、認知心理学の古い概念であるプロトタイプ理論にインスピレーションを受けており、人々は単一のスパースなプロトタイプを学習してオブジェクトを分類することを示唆している。 この緩和された仮定を生かして、我々はSVM(Support Vector Machines)を再設計し、その数学的定式化を完全に最寄りのソリューションに置き換え、次元の呪いに対処するため、局所性に敏感なハッシュを利用する。 理論の一般化可能性原理に従えば,非中心的特徴を具現化する再帰的手法を提案する。 結果として、NL は n の点で高い並列化能力を持つ O(n^2pL) の最も長いプロトタイプを効率的に発見する。 17のベンチマークデータセットによるNLの評価は、決定木やロジスティック回帰と比較して、顕著なパフォーマンスを示している。 さらに、NLは、ディープニューラルネットワークやランダムフォレストのような微調整されたブラックボックスモデルに匹敵するパフォーマンスを40%のケースで達成し、平均精度は1-2%以下である。 コードはhttp://natural-learning.cc.comから入手できる。

関連論文リスト

• Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
  大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。 我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。 10個のデータセットに対する実験結果から、ALLOの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-18T13:34:40Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Robust Representation via Dynamic Feature Aggregation [44.927408735490005]
  ディープ畳み込みニューラルネットワーク(CNN)ベースのモデルは、敵の攻撃に対して脆弱である。 本稿では,新しい正規化により埋め込み空間を圧縮する動的特徴集約法を提案する。 CIFAR-10における攻撃法の平均精度は56.91%である。
  論文  参考訳（メタデータ） (2022-05-16T06:22:15Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• Single Layer Predictive Normalized Maximum Likelihood for Out-of-Distribution Detection [26.705676702699172]
  OOD検出の一般的なアプローチは、実際のシナリオでは利用できないかもしれないトレーニング中のサンプルへのアクセスを前提としている。 単一層ニューラルネットワーク(NN)におけるpNMLの明示的表現と,その一般化誤差をエム後悔と表現する。 この学習者は, (i) テストベクトルがトレーニングデータの経験的相関行列の大きな固有値に関連付けられた固有ベクトルにまたがる部分空間に存在する場合, (ii) テストサンプルが決定境界から遠く離れている場合, テストベクトルが適切に一般化されることを示す。
  論文  参考訳（メタデータ） (2021-10-18T12:48:05Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Prototype-based interpretation of the functionality of neurons in winner-take-all neural networks [1.418033127602866]
  最小ユークリッド距離(ED-WTA)に基づくWTAネットワークを用いたPbL(Prototype-based Learning)は,マルチクラス分類における直感的なアプローチである。 正と負のプロトタイプの更新を巧みに切り替える,$pm$ED-WTAネットワークのための新しいトレーニングアルゴリズムを提案する。 提案した$pm$ED-WTA法は,高い解釈可能なプロトタイプを構築できることを示す。
  論文  参考訳（メタデータ） (2020-08-20T03:15:37Z)
• Machine learning for complete intersection Calabi-Yau manifolds: a methodological study [0.0]
  我々は機械学習(ML)を用いてホッジ数$h1,1$と$h2,1$の完全なカラビ・ヤウ交差点を予測する問題を再考する。 我々は、古いデータセットのインセプションモデルにインスパイアされたニューラルネットワークを使用して、トレーニング用のデータの30% (resp. 70%) のみを使用して、97% (resp. 99%) の精度で$h1,1$を得る。 新しい例では、単純な線形回帰は、トレーニング用のデータの30%でほぼ100%の正確性をもたらす。
  論文  参考訳（メタデータ） (2020-07-30T19:43:49Z)
• Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
  精度予測に非神経モデルを用いる別の手法について検討する。 我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
  論文  参考訳（メタデータ） (2020-07-09T13:28:49Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。