論文の概要: Towards Generalization in Subitizing with Neuro-Symbolic Loss using Holographic Reduced Representations

• arxiv url: http://arxiv.org/abs/2312.15310v1
• Date: Sat, 23 Dec 2023 17:54:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 18:38:02.152435
• Title: Towards Generalization in Subitizing with Neuro-Symbolic Loss using Holographic Reduced Representations
• Title（参考訳）: ホログラフィック縮小表現を用いた神経シンボリックロスのサブイタイジングにおける一般化に向けて
• Authors: Mohammad Mahmudul Alam, Edward Raff, Tim Oates
• Abstract要約: CogSci研究で使用される適応ツールは、CNNとViTのサブティナイズ一般化を改善することができることを示す。 学習におけるこの神経-記号的アプローチが,CNNやVTのサブティナイズ能力にどのように影響するかを検討する。 HRRに基づく損失が改善する一方の軸を除いて、ほとんどの点において、サブタイズにおいてViTはCNNと比較して著しく低下することがわかった。
• 参考スコア（独自算出の注目度）: 49.22640185566807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep learning has enjoyed significant success in computer vision tasks over the past decade, many shortcomings still exist from a Cognitive Science (CogSci) perspective. In particular, the ability to subitize, i.e., quickly and accurately identify the small (less than 6) count of items, is not well learned by current Convolutional Neural Networks (CNNs) or Vision Transformers (ViTs) when using a standard cross-entropy (CE) loss. In this paper, we demonstrate that adapting tools used in CogSci research can improve the subitizing generalization of CNNs and ViTs by developing an alternative loss function using Holographic Reduced Representations (HRRs). We investigate how this neuro-symbolic approach to learning affects the subitizing capability of CNNs and ViTs, and so we focus on specially crafted problems that isolate generalization to specific aspects of subitizing. Via saliency maps and out-of-distribution performance, we are able to empirically observe that the proposed HRR loss improves subitizing generalization though it does not completely solve the problem. In addition, we find that ViTs perform considerably worse compared to CNNs in most respects on subitizing, except on one axis where an HRR-based loss provides improvement.
• Abstract（参考訳）: ディープラーニングは過去10年間、コンピュータビジョンタスクで大きな成功を収めてきたが、認知科学(cogsci)の観点からも多くの欠点が残っている。 特に、標準的なクロスエントロピー(CE)損失を使用する場合、現在の畳み込みニューラルネットワーク(CNN)やビジョントランスフォーマー(ViT)によって、素早く正確に6個未満のアイテムを識別する能力は、十分に学習されていない。 本稿では,cogsci研究で用いられる適応ツールが,ホログラフィック還元表現(hrr)を用いた代替損失関数の開発により,cnnとvitsのサブイライズ一般化を改善できることを実証する。 学習に対するこのニューロシンボリックアプローチが,cnnとvitsのサブイット化能力にどのように影響するかを調査し,一般化をサブイット化の特定の側面に分離する特別に作られた問題に焦点を当てた。 塩分マップと分散性能により,提案するhrr損失が,完全解には至っていないものの,サブイット化一般化を改善できることを実証的に観察できる。 さらに,hrrベースの損失が改善をもたらす1軸を除いて,vitsはサブイット化においてcnnに比べてかなり悪い性能を示すことが判明した。

関連論文リスト

• Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
  クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。 異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:27:03Z)
• Neural Loss Function Evolution for Large-Scale Image Classifier Convolutional Neural Networks [0.0]
  分類では、ニューラルネットワークはクロスエントロピーを最小化して学習するが、精度を用いて評価され、比較される。 この格差は、ニューラルネットワークのクロスエントロピーのドロップイン置換損失関数探索であるニューラルロス関数探索(NLFS)を示唆している。 より多様な損失関数を探索するNLFSの新しい探索空間を提案する。
  論文  参考訳（メタデータ） (2024-01-30T17:21:28Z)
• Eye-gaze-guided Vision Transformer for Rectifying Shortcut Learning [42.674679049746175]
  我々は、深層ニューラルネットワークのトレーニングに、人間の専門家の知性とドメイン知識を注入することを提案する。 医用画像データに制限のある診断のための新しい視線誘導型視覚変換器(EG-ViT)を提案する。
  論文  参考訳（メタデータ） (2022-05-25T03:29:10Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks [5.484391472233163]
  ディープラーニングの成功は、バックプロパゲーションとは分離できない。 本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。 次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
  論文  参考訳（メタデータ） (2021-10-17T15:55:51Z)
• Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective [78.05383266222285]
  人間の知覚不能な摂動は、ほとんどの画像のディープニューラルネットワーク(DNN)をだますために生成することができる。 ディープステガノグラフィタスクでは同様の現象が観測されており、デコーダネットワークはわずかに乱れたカバー画像から秘密の画像を取得することができる。 1)攻撃と隠蔽を同時に行うユニバーサル・シークレット・アドバイサル・パーターベーション(USAP)、(2)人間の目では見えないハイパスUAP(HP-UAP)の2つの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:26:39Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Anomalous diffusion dynamics of learning in deep neural networks [0.0]
  ディープニューラルネットワーク(DNN)の学習は、高度に非平衡な損失関数を最小化することによって実現される。 本稿では, ロスランドスケープのフラクタル様構造の相互作用を通じて, このような効果的な深層学習が出現することを示す。
  論文  参考訳（メタデータ） (2020-09-22T14:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。