論文の概要: NBDT: Neural-Backed Decision Trees

• arxiv url: http://arxiv.org/abs/2004.00221v3
• Date: Thu, 28 Jan 2021 03:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 17:43:57.398536
• Title: NBDT: Neural-Backed Decision Trees
• Title（参考訳）: NBDT: ニューラルネットワークによる決定木
• Authors: Alvin Wan, Lisa Dunlap, Daniel Ho, Jihan Yin, Scott Lee, Henry Jin, Suzanne Petryk, Sarah Adel Bargal, Joseph E. Gonzalez
• Abstract要約: ニューラルバック決定木(NBDT)を用いた精度と解釈可能性の向上 NBDTはニューラルネットワークの最終線形層を、決定の異なる順序と代理損失で置き換える。 我々のサロゲート損失は、元のモデルの精度を最大2%向上させる。
• 参考スコア（独自算出の注目度）: 26.2115887956431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning applications such as finance and medicine demand accurate and justifiable predictions, barring most deep learning methods from use. In response, previous work combines decision trees with deep learning, yielding models that (1) sacrifice interpretability for accuracy or (2) sacrifice accuracy for interpretability. We forgo this dilemma by jointly improving accuracy and interpretability using Neural-Backed Decision Trees (NBDTs). NBDTs replace a neural network's final linear layer with a differentiable sequence of decisions and a surrogate loss. This forces the model to learn high-level concepts and lessens reliance on highly-uncertain decisions, yielding (1) accuracy: NBDTs match or outperform modern neural networks on CIFAR, ImageNet and better generalize to unseen classes by up to 16%. Furthermore, our surrogate loss improves the original model's accuracy by up to 2%. NBDTs also afford (2) interpretability: improving human trustby clearly identifying model mistakes and assisting in dataset debugging. Code and pretrained NBDTs are at https://github.com/alvinwan/neural-backed-decision-trees.
• Abstract（参考訳）: ファイナンスや医療などの機械学習アプリケーションは正確で正当化可能な予測を必要とし、最も深い学習方法の使用を禁止している。 これに対し,従来の研究は決定木を深層学習と組み合わせ,(1)正確性に対する解釈性を犠牲にするモデル,あるいは(2)正確性に対する解釈性を犠牲にするモデルを生み出した。 このジレンマをニューラルネットワークによる決定木(nbdts)を用いた精度と解釈性の向上により解消する。 NBDTはニューラルネットワークの最終線形層を、決定の異なる順序と代理損失で置き換える。 精度: NBDT は CIFAR や ImageNet 上で近代的なニューラルネットワークにマッチまたは性能を向上し、未確認のクラスに最大 16% まで一般化する。 さらに、サロゲート損失は、元のモデルの精度を最大2%向上させる。 NBDTはまた、(2)解釈可能性: モデルのミスを明確に識別し、データセットのデバッグを支援する人間の信頼を改善する。 コードと事前訓練されたNBDTはhttps://github.com/alvinwan/neural-backed-decision-treesにある。

関連論文リスト

• An Interpretable Power System Transient Stability Assessment Method with Expert Guiding Neural-Regression-Tree [12.964139269555277]
  本稿では,TSA-ENRT(Neural-Regression-Tree)をエキスパートに導いた電力系統の過渡安定度評価手法を提案する。 TSA-ENRTは、非線形回帰木を導く専門家を用いてニューラルネットワーク予測を近似し、ニューラルネットワークはツリーモデルによって生成された解釈規則によって説明できる。 広範囲にわたる実験は、提案されたTSA-ENRTによって生成された解釈規則は、ニューラルネットワークの予測と非常に一致しており、人間の専門家の認知とより一致していることを示している。
  論文  参考訳（メタデータ） (2024-04-03T08:22:41Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration [66.22668336495175]
  ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。 我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2022-11-29T15:03:05Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Optimal Decision Diagrams for Classification [68.72078059880018]
  数学的プログラミングの観点から最適決定図の学習について検討する。 本稿では,新しい混合整数線形プログラミングモデルを提案する。 このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
  論文  参考訳（メタデータ） (2022-05-28T18:31:23Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution [12.46127622357824]
  非平衡な活性化分布はBNNの精度を実際に向上させることができることを示す。 また、二項活性化関数のしきい値を調整することにより、二項活性化関数の不均衡分布が生じることを示す。 実験結果から,バイナリアクティベーション関数のしきい値を簡単にシフトすることで,従来のBNNモデルの精度を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-12-02T02:49:53Z)
• On Resource-Efficient Bayesian Network Classifiers and Deep Neural Networks [14.540226579203207]
  ベイズネットワーク(BN)分類器の複雑さを低減するための2つの方法を提案する。 まず、ストレートスルー勾配推定器を用いてBNのパラメータを数ビットに量子化する量子化学習を導入する。 第2に、モデルサイズも考慮し、最近提案された微分可能な木強化ナイーブベイズ (TAN) 構造学習手法を拡張した。
  論文  参考訳（メタデータ） (2020-10-22T14:47:55Z)
• SegNBDT: Visual Decision Rules for Segmentation [26.90558353725608]
  セグメンテーションのためのハイブリッドニューラルネットワークと決定ツリーモデルを構築した。 セグメンテーションにサラリティー手法を拡張することで意味的な視覚的意味を得る。 我々のモデルは最先端のHRNetV2セグメンテーションモデルの2-4%以内の精度が得られる。
  論文  参考訳（メタデータ） (2020-06-11T23:10:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。