論文の概要: Introducing topography in convolutional neural networks

• arxiv url: http://arxiv.org/abs/2211.13152v1
• Date: Fri, 28 Oct 2022 13:20:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-27 13:34:38.036671
• Title: Introducing topography in convolutional neural networks
• Title（参考訳）: 畳み込みニューラルネットワークにおけるトポグラフィの導入
• Authors: Maxime Poli, Emmanuel Dupoux, Rachid Riad
• Abstract要約: 畳み込みニューラルネットワーク(CNN)における新しい地形誘導バイアスを提案する。 視覚および音声タスクの4つのデータセットと3つのモデルについて、新しい手法をベンチマークした。 提案手法は,精度を向上しつつ,よりメモリ効率の良いモデルを得るための新たな道筋を提供する。
• 参考スコア（独自算出の注目度）: 11.595591429581546
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Parts of the brain that carry sensory tasks are organized topographically: nearby neurons are responsive to the same properties of input signals. Thus, in this work, inspired by the neuroscience literature, we proposed a new topographic inductive bias in Convolutional Neural Networks (CNNs). To achieve this, we introduced a new topographic loss and an efficient implementation to topographically organize each convolutional layer of any CNN. We benchmarked our new method on 4 datasets and 3 models in vision and audio tasks and showed equivalent performance to all benchmarks. Besides, we also showcased the generalizability of our topographic loss with how it can be used with different topographic organizations in CNNs. Finally, we demonstrated that adding the topographic inductive bias made CNNs more resistant to pruning. Our approach provides a new avenue to obtain models that are more memory efficient while maintaining better accuracy.
• Abstract（参考訳）: 感覚タスクを担っている脳の一部が地形的に組織化され、近くのニューロンは入力信号の同じ特性に反応する。 そこで本研究では,神経科学の文献に着想を得て,畳み込みニューラルネットワーク(cnns)における新しい地形的帰納的バイアスを提案する。 そこで我々は,cnnの各畳み込み層をトポロジカルに整理する新しいトポロジカルロスと効率的な実装を導入した。 提案手法を4つのデータセットと3つのモデルの視覚および音声タスクでベンチマークし,すべてのベンチマークと同等の性能を示した。 また、CNNにおける異なる地形組織とどのように組み合わせられるかで、地形損失の一般化可能性を示した。 最後に,地形誘導バイアスを付加することにより,CNNのプルーニング耐性が向上することを示した。 提案手法は,精度を向上しつつ,よりメモリ効率の良いモデルを得るための新たな道筋を提供する。

関連論文リスト

• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• End-to-end topographic networks as models of cortical map formation and human visual behaviour: moving beyond convolutions [0.29687381456164]
  霊長類視覚システムの組織をモデル化するオールトポグラフィニューラルネットワーク(All-TNN)を開発した。 これらの結果から,All-TNNは,従来の最先端の畳み込みモデルよりも,その地形特性から,人間の行動との整合性が著しく向上していることが示唆された。 これにより、全TNNは視覚脳の空間的構造と、それが視覚行動をどのように仲介するかを理解するための重要な一歩となる。
  論文  参考訳（メタデータ） (2023-08-18T10:03:51Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Graph Neural Operators for Classification of Spatial Transcriptomics Data [1.408706290287121]
  マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。 グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
  論文  参考訳（メタデータ） (2023-02-01T18:32:06Z)
• Contrastive Brain Network Learning via Hierarchical Signed Graph Pooling Model [64.29487107585665]
  脳機能ネットワーク上のグラフ表現学習技術は、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を容易にする。 本稿では,脳機能ネットワークからグラフレベル表現を抽出する階層型グラフ表現学習モデルを提案する。 また、モデルの性能をさらに向上させるために、機能的脳ネットワークデータをコントラスト学習のために拡張する新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-14T20:03:52Z)
• Visualizing Deep Neural Networks with Topographic Activation Maps [1.1470070927586014]
  我々は,ディープニューラルネットワーク層におけるニューロンの地形的レイアウトを求める手法を紹介し,比較する。 本研究では,地形のアクティベーションマップを用いて誤りの特定やバイアスのエンコードを行い,トレーニングプロセスの可視化を行う。
  論文  参考訳（メタデータ） (2022-04-07T15:56:44Z)
• PCACE: A Statistical Approach to Ranking Neurons for CNN Interpretability [1.0742675209112622]
  ネットワークのどの畳み込み層にも隠れたニューロンをランク付けするための新しい統計手法を提案する。 街路画像を用いた大気汚染予測への本手法の実際の応用について述べる。
  論文  参考訳（メタデータ） (2021-12-31T17:54:57Z)
• Automated airway segmentation by learning graphical structure [0.76146285961466]
  我々は,既存の畳み込みニューラルネットワーク(CNN)とグラフニューラルネットワーク(GNN)に基づく気道セグメンテーションの高度な手法を提唱した。 提案モデルにより,CNN法とGNN法を併用した場合,胸部CTスキャンの気管支をほとんどの症例で検出できることが示唆された。
  論文  参考訳（メタデータ） (2021-09-30T01:37:31Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。