Fugu-MT 論文翻訳(概要): Hierarchical Residuals Exploit Brain-Inspired Compositionality

論文の概要: Hierarchical Residuals Exploit Brain-Inspired Compositionality

arxiv url: http://arxiv.org/abs/2502.16003v1
Date: Fri, 21 Feb 2025 23:35:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-25 15:57:22.696599
Title: Hierarchical Residuals Exploit Brain-Inspired Compositionality
Title（参考訳）: 階層的残留物は脳にインスパイアされた構成性を爆発させる
Authors: Francisco M. López, Jochen Triesch,
Abstract要約: 階層的残差ネットワーク(HiResNets)は階層的に異なる層間の長距離残差接続を有する深層畳み込みニューラルネットワークである。 HiResNetsは、皮質下領域から皮質階層全体への直接の接続を複製することで、哺乳類の脳の組織にインスピレーションを与える。
参考スコア（独自算出の注目度）: 3.04478108783992
License:
Abstract: We present Hierarchical Residual Networks (HiResNets), deep convolutional neural networks with long-range residual connections between layers at different hierarchical levels. HiResNets draw inspiration on the organization of the mammalian brain by replicating the direct connections from subcortical areas to the entire cortical hierarchy. We show that the inclusion of hierarchical residuals in several architectures, including ResNets, results in a boost in accuracy and faster learning. A detailed analysis of our models reveals that they perform hierarchical compositionality by learning feature maps relative to the compressed representations provided by the skip connections.
Abstract（参考訳）: 階層的残差ネットワーク(HiResNets)は階層的に異なる層間の長距離残差接続を有する深層畳み込みニューラルネットワークである。 HiResNetsは、皮質下領域から皮質階層全体への直接の接続を複製することで、哺乳類の脳の組織にインスピレーションを与える。 ResNetsなどいくつかのアーキテクチャに階層的残差が組み込まれているため,精度の向上と学習の高速化が期待できる。提案モデルの詳細な解析により,スキップ接続によって提供される圧縮表現に対して特徴写像を学習することにより,階層的な構成性を実現することが明らかとなった。

関連論文リスト

Emergent Language Symbolic Autoencoder (ELSA) with Weak Supervision to Model Hierarchical Brain Networks [0.12075823996747355]
脳ネットワークには階層的な組織があり、既存のディープラーニングモデルに課題をもたらす複雑性がある。本稿では,弱い監督と創発的言語(EL)フレームワークによって情報を得るシンボリックオートエンコーダを提案する。私たちの革新には、文と画像の両方が機能的脳ネットワークの階層構造を正確に反映するように設計された一般化階層的損失関数が含まれています。
論文参考訳（メタデータ） (2024-04-15T13:51:05Z)
Improving Visual Recognition with Hyperbolical Visual Hierarchy Mapping [33.405667735101595]
我々は、事前訓練されたディープニューラルネットワーク(DNN)の構造的理解を高めるための視覚階層型マッパー(Hi-Mapper)を提案する。 Hi-Mapperは,1)確率密度のカプセル化による階層木の事前定義,2)新しい階層的コントラスト損失を伴う双曲空間における階層関係の学習により,視覚シーンの階層構造を解明する。
論文参考訳（メタデータ） (2024-04-01T07:45:42Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
Hierarchical Graph Neural Networks [0.0]
本稿では,従来のニューラルネットワークとグラフニューラルネットワークアーキテクチャの点を結びつけることを目的とする。従来の入力ネットワーク層を補助ネットワーク層の階層構造で補完する階層型グラフニューラルネットワークアーキテクチャを提案する。これにより、個々のノードの特徴と集約されたネットワークの特徴を可変解像度で同時学習し、個々のノードの特徴学習の収束と安定性を改善することができる。
論文参考訳（メタデータ） (2021-05-07T16:47:18Z)
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文参考訳（メタデータ） (2021-02-17T04:47:18Z)
Hierarchical Graph Capsule Network [78.4325268572233]
ノード埋め込みを共同で学習し,グラフ階層を抽出できる階層型グラフカプセルネットワーク(HGCN)を提案する。階層的表現を学ぶために、HGCNは下層カプセル(部分)と高層カプセル(全体)の間の部分的関係を特徴付ける。
論文参考訳（メタデータ） (2020-12-16T04:13:26Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)
Learn Class Hierarchy using Convolutional Neural Networks [0.9569316316728905]
画像の階層的分類のための新しいアーキテクチャを提案し、クロスエントロピー損失関数と中心損失を組み合わせた深層線形層を導入する。階層型分類器は,コンピュータビジョンタスクへの応用を見出す従来の分類手法の利点を示す。
論文参考訳（メタデータ） (2020-05-18T12:06:43Z)
Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文参考訳（メタデータ） (2020-01-08T06:54:53Z)
Shift Aggregate Extract Networks [3.3263205689999453]
大規模グラフの効率的な表現を学習するために,階層分解に基づくアーキテクチャを導入する。我々のフレームワークは、カーネルメソッドで使用される古典的なR分解を拡張し、ネストした部分関係を可能にする。我々は,我々のアプローチが,大規模ソーシャルネットワークデータセット上で現在最先端のグラフ分類手法より優れていることを実証的に示す。
論文参考訳（メタデータ） (2017-03-16T09:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。