論文の概要: Cluster Flow: how a hierarchical clustering layer make allows deep-NNs more resilient to hacking, more human-like and easily implements relational reasoning

• arxiv url: http://arxiv.org/abs/2304.14081v1
• Date: Thu, 27 Apr 2023 10:41:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 13:47:51.604017
• Title: Cluster Flow: how a hierarchical clustering layer make allows deep-NNs more resilient to hacking, more human-like and easily implements relational reasoning
• Title（参考訳）: クラスタフロー:階層的クラスタリングレイヤにより、deep-nnsはハッキングにレジリエンスが向上し、人間らしく、リレーショナル推論の実装が容易になる
• Authors: Ella Gale, Oliver Matthews
• Abstract要約: ClusterFlowは半教師付き階層的クラスタリングフレームワークである。 トレーニングされたNNと、SoftMax前のレイヤにある機能データで操作できる。 現代の深層畳み込みニューラルネットワークには、より人間的な機能が追加されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the huge recent breakthroughs in neural networks (NNs) for artificial intelligence (specifically deep convolutional networks) such NNs do not achieve human-level performance: they can be hacked by images that would fool no human and lack `common sense'. It has been argued that a basis of human-level intelligence is mankind's ability to perform relational reasoning: the comparison of different objects, measuring similarity, grasping of relations between objects and the converse, figuring out the odd one out in a set of objects. Mankind can even do this with objects they have never seen before. Here we show how ClusterFlow, a semi-supervised hierarchical clustering framework can operate on trained NNs utilising the rich multi-dimensional class and feature data found at the pre-SoftMax layer to build a hyperspacial map of classes/features and this adds more human-like functionality to modern deep convolutional neural networks. We demonstrate this with 3 tasks. 1. the statistical learning based `mistakes' made by infants when attending to images of cats and dogs. 2. improving both the resilience to hacking images and the accurate measure of certainty in deep-NNs. 3. Relational reasoning over sets of images, including those not known to the NN nor seen before. We also demonstrate that ClusterFlow can work on non-NN data and deal with missing data by testing it on a Chemistry dataset. This work suggests that modern deep NNs can be made more human-like without re-training of the NNs. As it is known that some methods used in deep and convolutional NNs are not biologically plausible or perhaps even the best approach: the ClusterFlow framework can sit on top of any NN and will be a useful tool to add as NNs are improved in this regard.
• Abstract（参考訳）: 人工知能(特に深い畳み込みネットワーク)のためのニューラルネットワーク(nns)における最近の大きなブレークスルーにもかかわらず、そのようなnnは人間レベルのパフォーマンスを達成していない。 人間レベルの知能の基盤は、異なるオブジェクトの比較、類似度の測定、オブジェクトとコンバースの関係の把握、オブジェクトの集合内の奇妙なものを見つけるという、人間による関係推論を行う能力である、と論じられている。 人類は今まで見たことのない物体でもこれを行うことができる。 ここでは、半教師付き階層的クラスタリングフレームワークであるClusterFlowが、SoftMax以前のレイヤで見つかったリッチな多次元クラスと特徴データを利用して、トレーニングされたNN上でどのように動作するかを示す。 これを3つのタスクで示します。 1 猫・犬の画像に臨む幼児の「ミステイク」に基づく統計的学習。 2. 画像ハッキングのレジリエンス向上とディープnnの確実性測定の精度向上 3.NNに知らないものや、これまで見たことのないものを含む、一連の画像に対する関係推論。 また、clusterflowが非nnデータで動作し、化学データセット上でテストすることで欠落データを扱うことができることを実証する。 この研究は、現代のディープNNは、NNを再訓練することなく、より人間らしくすることができることを示唆している。 ディープNNや畳み込みNNで使用されるメソッドが生物学的に妥当でないことや、おそらくベストなアプローチとしても知られているように、ClusterFlowフレームワークはあらゆるNNの上に置かれることができ、この点においてNNが改良されるにつれて、追加するための便利なツールとなるだろう。

関連論文リスト

• Hyper Evidential Deep Learning to Quantify Composite Classification Uncertainty [11.964685090237392]
  本稿では,ハイパーエビデンシャルニューラルネットワーク(HENN, Hyper-Evidential Neural Network)と呼ばれる新しいフレームワークが,複合クラスラベルによる予測の不確かさを明示的にモデル化していることを示す。 以上の結果から,HENNは4つの画像データセットに基づいて最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-04-17T01:26:15Z)
• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
  論文  参考訳（メタデータ） (2023-12-26T02:04:53Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks [0.495186171543858]
  AI(Artificial Intelligence)の手法を理解し説明するための最近の取り組みは、説明可能なAIと呼ばれる新しい研究領域につながった。 AI(Artificial Intelligence)の手法を理解し説明するための最近の取り組みは、説明可能なAIと呼ばれる新しい研究領域につながった。 本稿では,DeepLIFT法を中心に説明可能なAI手法を用いる。
  論文  参考訳（メタデータ） (2020-08-20T16:52:58Z)
• Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
  LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。 LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。 実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
  論文  参考訳（メタデータ） (2020-07-12T23:45:51Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Automatic Organization of Neural Modules for Enhanced Collaboration in Neural Networks [0.0]
  本研究はニューラルネットワーク(NN)の構造に関する新しい視点を提案する。 伝統的なNNは通常、便利な木のような構造である。 我々は,ニューラル・モジュールというニューラル・ユニットを編成する新しい方法を確立するために,同期グラフに基づく構造を導入する。
  論文  参考訳（メタデータ） (2020-05-08T15:05:37Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。