論文の概要: The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks

• arxiv url: http://arxiv.org/abs/2407.05650v1
• Date: Mon, 8 Jul 2024 06:22:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 16:50:12.371771
• Title: The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks
• Title（参考訳）: 動的ネットアーキテクチャ - 自己組織化ネットワークによるロバストでホロスティックな視覚表現の学習
• Authors: Pascal J. Sager, Jan M. Deriu, Benjamin F. Grewe, Thilo Stadelmann, Christoph von der Malsburg,
• Abstract要約: 動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
• 参考スコア（独自算出の注目度）: 3.9848584845601014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel intelligent-system architecture called "Dynamic Net Architecture" (DNA) that relies on recurrence-stabilized networks and discuss it in application to vision. Our architecture models a (cerebral cortical) area wherein elementary feature neurons encode details of visual structures, and coherent nets of such neurons model holistic object structures. By interpreting smaller or larger coherent pieces of an area network as complex features, our model encodes hierarchical feature representations essentially different than artificial neural networks (ANNs). DNA models operate on a dynamic connectionism principle, wherein neural activations stemming from initial afferent signals undergo stabilization through a self-organizing mechanism facilitated by Hebbian plasticity alongside periodically tightening inhibition. In contrast to ANNs, which rely on feed-forward connections and backpropagation of error, we posit that this processing paradigm leads to highly robust representations, as by employing dynamic lateral connections, irrelevant details in neural activations are filtered out, freeing further processing steps from distracting noise and premature decisions. We empirically demonstrate the viability of the DNA by composing line fragments into longer lines and show that the construction of nets representing lines remains robust even with the introduction of up to $59\%$ noise at each spatial location. Furthermore, we demonstrate the model's capability to reconstruct anticipated features from partially obscured inputs and that it can generalize to patterns not observed during training. In this work, we limit the DNA to one cortical area and focus on its internals while providing insights into a standalone area's strengths and shortcomings. Additionally, we provide an outlook on how future work can implement invariant object recognition by combining multiple areas.
• Abstract（参考訳）: 本稿では、リカレンス安定化ネットワークに依存した新しいインテリジェントなアーキテクチャである"Dynamic Net Architecture"(DNA)について述べる。 我々のアーキテクチャーは、基本特徴ニューロンが視覚構造の詳細をエンコードする(脳皮質)領域をモデル化し、そのようなニューロンのコヒーレントネットは、全体論的対象構造をモデル化する。 エリアネットワークのより小さいあるいは大きなコヒーレント部分を複雑な特徴として解釈することにより、我々のモデルは、階層的特徴表現を、人工知能ニューラルネットワーク(ANN)と本質的に異なる特徴表現を符号化する。 DNAモデルは動的結合性原理で機能し、初期求心性シグナルから生じる神経活性化は、周期的に抑制されるとともに、ヘビアン可塑性によって促進される自己組織化機構によって安定化される。 フィードフォワード接続やエラーのバックプロパゲーションに依存するANNとは対照的に、この処理パラダイムは動的横方向接続を用いることによって、ニューラルアクティベーションにおける無関係な詳細をフィルタリングすることにより、ノイズの回避や未熟な判断からさらなる処理ステップを解放する、という非常に堅牢な表現につながると仮定する。 線断片を長い線に構成することでDNAの生存可能性を実証的に実証し、各空間に最大5,9\%のノイズを導入したとしても、線を表す網の構成が頑健であることを示す。 さらに,予測された特徴を部分的に不明瞭な入力から再構築し,学習中に観察されないパターンに一般化できることを示す。 この研究では、DNAを1つの皮質領域に制限し、その内部に集中するとともに、スタンドアロン領域の強みと欠点に関する洞察を提供する。 さらに、複数の領域を組み合わせることで、将来の作業が不変オブジェクト認識をどのように実装できるかを展望する。

関連論文リスト

• Spatial embedding promotes a specific form of modularity with low entropy and heterogeneous spectral dynamics [0.0]
  空間的に埋め込まれたリカレントニューラルネットワークは、学習よりもネットワークの構造と機能を組み合わせた組織をどのように形成するかを研究するための有望な道を提供する。 我々は,これらの制約を,速度とスパイクニューラルネットワークの両面にわたって,ニューラルウェイトと固有スペクトルのエントロピー測定によって研究することが可能であることを示す。 この作業は、ニューラルネットワークにおける制約付き学習の理解を深め、コーディングスキームやタスクを越えて、同時に構造的および機能的目的に対するソリューションをタンデムで達成する必要がある。
  論文  参考訳（メタデータ） (2024-09-26T10:00:05Z)
• Spatio-temporal Structure of Excitation and Inhibition Emerges in Spiking Neural Networks with and without Biologically Plausible Constraints [0.06752396542927405]
  学習可能なシナプス遅延を組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。 接続除去のためのDEEP Rと接続のためのRigLを組み合わせた動的プルーニング戦略を実装した。 より生物学的に妥当なモデルにおいても,再導入・時間的興奮・抑制のパターンが出現することが観察された。
  論文  参考訳（メタデータ） (2024-07-07T11:55:48Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Piecewise-Velocity Model for Learning Continuous-time Dynamic Node Representations [0.0]
  連続時間動的ネットワーク表現のためのPiecewise-Veable Model (PiVeM)。 超低次元空間において、PiVeMはネットワーク構造と力学をうまく表現できることを示す。 リンク予測などの下流タスクでは、関連する最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-12-23T13:57:56Z)
• Learning What and Where -- Unsupervised Disentangling Location and Identity Tracking [0.44040106718326594]
  教師なしLOCation and Identity Tracking System(Loci)を導入する。 ローチは脳の背腹側経路にインスパイアされ、自己監督された分離機構を用いて、何とどこにも結合する問題に取り組む。 Lociは、より深い説明指向のビデオ処理のステージを設定できる。
  論文  参考訳（メタデータ） (2022-05-26T13:30:14Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。