論文の概要: The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks

• arxiv url: http://arxiv.org/abs/2407.05650v1
• Date: Mon, 8 Jul 2024 06:22:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 16:50:12.371771
• Title: The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks
• Title（参考訳）: 動的ネットアーキテクチャ - 自己組織化ネットワークによるロバストでホロスティックな視覚表現の学習
• Authors: Pascal J. Sager, Jan M. Deriu, Benjamin F. Grewe, Thilo Stadelmann, Christoph von der Malsburg,
• Abstract要約: 動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
• 参考スコア（独自算出の注目度）: 3.9848584845601014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel intelligent-system architecture called "Dynamic Net Architecture" (DNA) that relies on recurrence-stabilized networks and discuss it in application to vision. Our architecture models a (cerebral cortical) area wherein elementary feature neurons encode details of visual structures, and coherent nets of such neurons model holistic object structures. By interpreting smaller or larger coherent pieces of an area network as complex features, our model encodes hierarchical feature representations essentially different than artificial neural networks (ANNs). DNA models operate on a dynamic connectionism principle, wherein neural activations stemming from initial afferent signals undergo stabilization through a self-organizing mechanism facilitated by Hebbian plasticity alongside periodically tightening inhibition. In contrast to ANNs, which rely on feed-forward connections and backpropagation of error, we posit that this processing paradigm leads to highly robust representations, as by employing dynamic lateral connections, irrelevant details in neural activations are filtered out, freeing further processing steps from distracting noise and premature decisions. We empirically demonstrate the viability of the DNA by composing line fragments into longer lines and show that the construction of nets representing lines remains robust even with the introduction of up to $59\%$ noise at each spatial location. Furthermore, we demonstrate the model's capability to reconstruct anticipated features from partially obscured inputs and that it can generalize to patterns not observed during training. In this work, we limit the DNA to one cortical area and focus on its internals while providing insights into a standalone area's strengths and shortcomings. Additionally, we provide an outlook on how future work can implement invariant object recognition by combining multiple areas.
• Abstract（参考訳）: 本稿では、リカレンス安定化ネットワークに依存した新しいインテリジェントなアーキテクチャである"Dynamic Net Architecture"(DNA)について述べる。 我々のアーキテクチャーは、基本特徴ニューロンが視覚構造の詳細をエンコードする(脳皮質)領域をモデル化し、そのようなニューロンのコヒーレントネットは、全体論的対象構造をモデル化する。 エリアネットワークのより小さいあるいは大きなコヒーレント部分を複雑な特徴として解釈することにより、我々のモデルは、階層的特徴表現を、人工知能ニューラルネットワーク(ANN)と本質的に異なる特徴表現を符号化する。 DNAモデルは動的結合性原理で機能し、初期求心性シグナルから生じる神経活性化は、周期的に抑制されるとともに、ヘビアン可塑性によって促進される自己組織化機構によって安定化される。 フィードフォワード接続やエラーのバックプロパゲーションに依存するANNとは対照的に、この処理パラダイムは動的横方向接続を用いることによって、ニューラルアクティベーションにおける無関係な詳細をフィルタリングすることにより、ノイズの回避や未熟な判断からさらなる処理ステップを解放する、という非常に堅牢な表現につながると仮定する。 線断片を長い線に構成することでDNAの生存可能性を実証的に実証し、各空間に最大5,9\%のノイズを導入したとしても、線を表す網の構成が頑健であることを示す。 さらに,予測された特徴を部分的に不明瞭な入力から再構築し,学習中に観察されないパターンに一般化できることを示す。 この研究では、DNAを1つの皮質領域に制限し、その内部に集中するとともに、スタンドアロン領域の強みと欠点に関する洞察を提供する。 さらに、複数の領域を組み合わせることで、将来の作業が不変オブジェクト認識をどのように実装できるかを展望する。

関連論文リスト

• Continually Learning Structured Visual Representations via Network Refinement with Rerelation [15.376349115976534]
  現在の機械学習パラダイムは、ニューラルネットワークのような連続的な表現に依存しており、パラメータを近似結果に反復的に調整する。 構造化された連続的な方法で視覚空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:18:27Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
  我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。 具体的には、ニューラルネットワーク内の機能的に類似した表現の概念に基づく、新しい自動化されたタスク非依存のアプローチについて検討する。 提案手法は,人間と計算コストを最小限に抑えたニューラルネットワークの動作に関する有意義な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-21T20:19:00Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
  脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。 相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。 ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
  論文  参考訳（メタデータ） (2021-04-19T06:23:31Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Learning low-rank latent mesoscale structures in networks [1.1470070927586016]
  ネットワークにおける低ランクメソスケール構造を記述するための新しい手法を提案する。 いくつかの合成ネットワークモデルと経験的友情、協調、タンパク質-タンパク質相互作用(PPI)ネットワークを使用します。 破損したネットワークから直接学習する潜在モチーフのみを用いて、破損したネットワークを認知する方法を示す。
  論文  参考訳（メタデータ） (2021-02-13T18:54:49Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
  本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。 予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。 MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
  論文  参考訳（メタデータ） (2020-02-17T14:16:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。