論文の概要: Towards Deep Machine Reasoning: a Prototype-based Deep Neural Network
with Decision Tree Inference
- arxiv url: http://arxiv.org/abs/2002.03776v1
- Date: Sun, 2 Feb 2020 14:11:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 19:48:48.462983
- Title: Towards Deep Machine Reasoning: a Prototype-based Deep Neural Network
with Decision Tree Inference
- Title（参考訳）: Deep Machine Reasoningに向けて:決定木推論を用いたプロトタイプベースDeep Neural Network
- Authors: Plamen Angelov, Eduardo Soares
- Abstract要約: DMR - ディープラーニングのためのプロトタイプベースの手法とネットワークアーキテクチャで、決定木(DT)ベースの推論と合成データを使ってクラスのバランスをとる。
これは最近導入されたxDNNメソッドに基づいており、特にクラスが高度に不均衡な場合に、より複雑なマルチクラス問題に対処している。
i)DTを用いてクラスラベルを判定し、(i)利用可能なトレーニングデータから決定されたプロトタイプに関するデータを合成することでクラスをバランスさせる2つの新しいメカニズムを持つ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we introduce the DMR -- a prototype-based method and network
architecture for deep learning which is using a decision tree (DT)-based
inference and synthetic data to balance the classes. It builds upon the
recently introduced xDNN method addressing more complex multi-class problems,
specifically when classes are highly imbalanced. DMR moves away from a direct
decision based on all classes towards a layered DT of pair-wise class
comparisons. In addition, it forces the prototypes to be balanced between
classes regardless of possible class imbalances of the training data. It has
two novel mechanisms, namely i) using a DT to determine the winning class
label, and ii) balancing the classes by synthesizing data around the prototypes
determined from the available training data. As a result, we improved
significantly the performance of the resulting fully explainable DNN as
evidenced by the best reported result on the well know benchmark problem
Caltech-101 surpassing our own recently published "world record". Furthermore,
we also achieved another "world record" for another very hard benchmark
problem, namely Caltech-256 as well as surpassed the results of other
approaches on Faces-1999 problem. In summary, we propose a new approach
specifically advantageous for imbalanced multi-class problems that achieved two
world records on well known hard benchmark problems and the best result on
another problem in terms of accuracy. Moreover, DMR offers full explainability,
does not require GPUs and can continue to learn from new data by adding new
prototypes preserving the previous ones but not requiring full retraining.
- Abstract（参考訳）: 本稿では,決定木(dt)に基づく推論と合成データを用いてクラスをバランスさせる,ディープラーニングのためのプロトタイプベースの手法とネットワークアーキテクチャであるdmrを提案する。
これは最近導入されたxDNNメソッドに基づいており、より複雑なマルチクラス問題に対処している。
dmrは全てのクラスに基づく直接決定から、ペアワイズクラス比較の階層化されたdtへと移行する。
さらに、トレーニングデータのクラス不均衡の可能性に関係なく、プロトタイプをクラス間でバランスを取るように強制する。
二つの新しいメカニズムがあります
一 DTを用いて優勝クラスラベルを定めること。
二 利用可能なトレーニングデータから決定されたプロトタイプに関するデータを合成して授業のバランスをとること。
その結果,最近公表した「世界記録」を上回って,よく知られたベンチマーク問題であるcaltech-101の報告結果が示すように,完全に説明可能なdnnの性能が大幅に向上した。
さらに、別の非常に難しいベンチマーク問題、すなわちCaltech-256に対して、また別の「世界記録」を達成し、Faces-1999問題に対する他のアプローチの結果を上回った。
そこで,本研究では,よく知られたハードベンチマーク問題に対する2つの世界記録と,別の問題に対する最善の結果を精度で達成した,不均衡なマルチクラス問題に特有な新しいアプローチを提案する。
さらに、dmrは完全な説明性を提供し、gpuを必要とせず、新しいプロトタイプを追加して、新しいデータから学び続けることができる。
関連論文リスト
- Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。
CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。
この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
論文 参考訳（メタデータ） (2024-02-28T18:08:03Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳（メタデータ） (2023-08-03T13:09:59Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Effective Class-Imbalance learning based on SMOTE and Convolutional
Neural Networks [0.1074267520911262]
不均衡データ(ID)は、機械学習(ML)モデルから満足な結果を得るための問題である。
本稿では,Deep Neural Networks(DNN)とConvolutional Neural Networks(CNN)に基づく手法の有効性を検討する。
信頼性の高い結果を得るために,ランダムにシャッフルしたデータ分布を用いて100回実験を行った。
論文 参考訳（メタデータ） (2022-09-01T07:42:16Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-17T05:42:59Z) - Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。
本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。
我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文 参考訳（メタデータ） (2022-06-23T10:25:37Z) - R-DFCIL: Relation-Guided Representation Learning for Data-Free Class
Incremental Learning [64.7996065569457]
クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、新しい知識を学ぶ際に、破滅的な忘れ方に苦しむ。
近年のDFCIL研究は、従来のクラスのデータ合成のためのモデル反転のような手法を導入している。
本稿では、R-DFCILと呼ばれるDFCILのための関係誘導型表現学習(RRL)を提案する。
論文 参考訳（メタデータ） (2022-03-24T14:54:15Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Distributional Robustness Loss for Long-tail Learning [20.800627115140465]
現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。
ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。
モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
論文 参考訳（メタデータ） (2021-04-07T11:34:04Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳（メタデータ） (2020-12-13T03:41:52Z) - SS-IL: Separated Softmax for Incremental Learning [15.161214516549844]
学習エージェントが学習データバッチの漸進的な到着から新しいクラスを継続的に学習するクラスインクリメンタルラーニング(CIL)問題を考察する。
問題の最大の課題は、破滅的な忘れ物だ。
本稿では,タスクワイド知識蒸留(TKD)と分離したソフトマックス(SS)出力層と組み合わせ,そのバイアスを解消する新たな手法として,SS-IL(Separated Softmax for Incremental Learning)を提案する。
論文 参考訳（メタデータ） (2020-03-31T04:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。