論文の概要: Neural Sculpting: Uncovering hierarchically modular task structure in neural networks through pruning and network analysis

• arxiv url: http://arxiv.org/abs/2305.18402v3
• Date: Fri, 27 Oct 2023 19:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 21:48:48.338901
• Title: Neural Sculpting: Uncovering hierarchically modular task structure in neural networks through pruning and network analysis
• Title（参考訳）: neural sculpting: プルーニングとネットワーク解析によるニューラルネットワークの階層的モジュール構造を明らかにする
• Authors: Shreyas Malakarjun Patil, Loizos Michael, Constantine Dovrolis
• Abstract要約: 階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。 本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
• 参考スコア（独自算出の注目度）: 8.080026425139708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural target functions and tasks typically exhibit hierarchical modularity -- they can be broken down into simpler sub-functions that are organized in a hierarchy. Such sub-functions have two important features: they have a distinct set of inputs (input-separability) and they are reused as inputs higher in the hierarchy (reusability). Previous studies have established that hierarchically modular neural networks, which are inherently sparse, offer benefits such as learning efficiency, generalization, multi-task learning, and transfer. However, identifying the underlying sub-functions and their hierarchical structure for a given task can be challenging. The high-level question in this work is: if we learn a task using a sufficiently deep neural network, how can we uncover the underlying hierarchy of sub-functions in that task? As a starting point, we examine the domain of Boolean functions, where it is easier to determine whether a task is hierarchically modular. We propose an approach based on iterative unit and edge pruning (during training), combined with network analysis for module detection and hierarchy inference. Finally, we demonstrate that this method can uncover the hierarchical modularity of a wide range of Boolean functions and two vision tasks based on the MNIST digits dataset.
• Abstract（参考訳）: 自然なターゲット関数とタスクは通常、階層的なモジュール構造を示す -- 階層構造に組織化された、より単純なサブ関数に分解できる。 このようなサブ関数には2つの重要な特徴がある:それらは異なる入力セット(入力分離性)を持ち、階層(再利用性)において高い入力として再利用される。 従来の研究により、階層的なモジュラーニューラルネットワークは本質的に疎結合であり、学習効率、一般化、マルチタスク学習、転送などの利点があることがわかった。 しかし、与えられたタスクの下位部分関数とその階層構造を特定することは困難である。 この作業の高レベルな疑問は、十分に深いニューラルネットワークを使ってタスクを学習すれば、そのタスクの下位機能階層をどうやって見つけられるのか、ということです。 まず,タスクが階層的にモジュール化されているかどうかを判断し易いブール関数の領域について検討する。 本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。 最後に, この手法により, MNIST桁データセットに基づく幅広いブール関数と2つの視覚タスクの階層的モジュラリティを明らかにすることができることを示す。

関連論文リスト

• Feature Network Methods in Machine Learning and Applications [0.0]
  機械学習(ML)機能ネットワーク(英: machine learning feature network)は、機械学習タスクにおけるML機能を、その類似性に基づいて接続するグラフである。 本稿では,機能クラスタリングとフィードフォワード学習によって階層的な接続が形成される,深い木構造特徴ネットワークの例を示す。
  論文  参考訳（メタデータ） (2024-01-10T01:57:12Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Break It Down: Evidence for Structural Compositionality in Neural Networks [32.382094867951224]
  ニューラルネットワークは構成性を学習し、特殊なシンボリックメカニズムの必要性を回避できることを示す。 このことは、ニューラルネットワークが構成性を学ぶことができ、特別なシンボリックメカニズムの必要性を回避できる可能性を示唆している。
  論文  参考訳（メタデータ） (2023-01-26T00:53:11Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Learning Task Decomposition with Ordered Memory Policy Network [73.3813423684999]
  OMPN(Ordered Memory Policy Network)を提案し、デモから学習することでサブタスク階層を発見する。 ompnは部分的に観測可能な環境に適用でき、高いタスク分解性能を達成できる。 私たちの視覚化は、サブタスク階層がモデルに出現できることを確認します。
  論文  参考訳（メタデータ） (2021-03-19T18:13:35Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Hierarchical community structure in networks [1.9981375888949475]
  本稿では,ネットワークにおける階層的コミュニティ構造に関する理論的研究を行う。 1) コミュニティ階層をどのように定義すべきか 2) ネットワークに階層構造の十分な証拠があるかどうかをどうやって判断するか?
  論文  参考訳（メタデータ） (2020-09-15T16:18:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。