論文の概要: FlowGenesis: Representation-Driven Self-Organization of Neural Architectures
- arxiv url: http://arxiv.org/abs/2610.35108v1
- Date: Mon, 26 Oct 2026 09:46:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.816944
- Title: FlowGenesis: Representation-Driven Self-Organization of Neural Architectures
- Title（参考訳）: FlowGenesis: 表現駆動によるニューラルネットワークの自己組織化
- Abstract要約: FlowGenesisは、ニューラルネットワークアーキテクチャがRepresentation Fluxによってガイドされたニューロンの誕生とプルーニングを通じて適応するフレームワークである。
本研究では、フロージェネシスを連続学習に拡張し、表現誘導構造適応により、連続タスクに割り当てられたニューロンやパラメータを減少させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks typically rely on architectures specified before training, despite the continuous evolution of their internal representations. We introduce FlowGenesis, a framework in which neural architectures adapt through neuron birth and pruning guided by Representation Flux, a local statistic capturing changes in minibatch mean activations. Neurons exhibiting persistently high Flux undergo splitting designed to approximately preserve the network function, while neurons with low Flux and low activity are pruned. This mechanism allows network capacity to evolve without prescribing a target architecture or performing a separate architecture search. Experiments on image and text classi- fication show that networks initialized with different sizes approach similar final neuron-count ranges within each dataset while maintaining comparable predictive performance. We further extend FlowGenesis to continual learning, where representation-guided structural adaptation reduces the neurons and parameters allocated to successive tasks while maintaining accuracy comparable to fixed-width Progressive Neural Networks in a task-incremental learning setting. These findings demonstrate that neural architectures can adapt through feedback between representation learning and structural change, suggesting an alternative to prescribing network capacity before training.
- Abstract（参考訳）: ディープニューラルネットワークは、内部表現の継続的な進化にもかかわらず、トレーニング前に指定されたアーキテクチャに依存している。
本稿では,ニューラルアーキテクチャがニューロンの誕生と,Representation Fluxによって誘導されるプルーニングを通じて適応するフレームワークであるFlowGenesisを紹介する。
ネットワーク機能を概ね維持するために設計された、持続的に高いFluxのサブスプリッティングを示すニューロンと、低Fluxと低活性のニューロンを切断する。
このメカニズムにより、ターゲットアーキテクチャを規定したり、別のアーキテクチャサーチを実行することなく、ネットワークキャパシティを進化させることができる。
画像とテキストのクラスi-フィカシックの実験では、異なるサイズで初期化されたネットワークが、同等の予測性能を維持しながら、データセット内の同様の最終ニューロン数範囲にアプローチしていることが示されている。
さらに、フロージェネシスを連続学習に拡張し、表現誘導構造適応は、タスク増分学習環境における固定幅プログレッシブニューラルネットワークに匹敵する精度を維持しながら、連続タスクに割り当てられたニューロンやパラメータを減少させる。
これらの結果は、ニューラルネットワークが表現学習と構造変化の間のフィードバックを通じて適応できることを示し、トレーニング前にネットワーク容量を規定する代替手段となることを示唆している。
関連論文リスト
- A Graph Sufficiency Perspective for Neural Networks [4.872570541276082]
本稿では,グラフ変数と統計的十分性を用いてニューラルネットワークを解析する。
ニューラルネットワーク層をグラフベースの変換として解釈し、ニューロンが入力と学習アンカーポイントのペア機能として機能する。
我々のフレームワークは、完全に接続された層、一般的なペアワイズ関数、ReLUとシグモノイドの活性化、畳み込みニューラルネットワークを網羅している。
論文 参考訳（メタデータ） (2025-07-14T12:31:47Z) - Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。
結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
論文 参考訳（メタデータ） (2024-10-09T21:37:14Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Web Neural Network with Complete DiGraphs [8.2727500676707]
現在のニューラルネットワークは、神経細胞、畳み込み、再発などの脳構造を曖昧に模倣する構造を持っている。
本稿では、ニューロン接続にサイクルを導入し、他のネットワーク層でよく見られるシーケンシャルな性質を除去することにより、新たな構造特性を付加する。
さらに、モデルには、ニューラルネットワークにインスパイアされた連続的な入力と出力があり、ネットワークは最終結果を返すのではなく、分類のプロセスを学ぶことができる。
論文 参考訳（メタデータ） (2024-01-07T05:12:10Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Graph Neural Operators for Classification of Spatial Transcriptomics
Data [1.408706290287121]
マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。
グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
論文 参考訳（メタデータ） (2023-02-01T18:32:06Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。