論文の概要: Detecting and Approximating Redundant Computational Blocks in Neural Networks

• arxiv url: http://arxiv.org/abs/2410.04941v3
• Date: Fri, 11 Oct 2024 08:43:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:07:35.211008
• Title: Detecting and Approximating Redundant Computational Blocks in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける冗長計算ブロックの検出と近似
• Authors: Irene Cannistraci, Emanuele Rodolà, Bastian Rieck,
• Abstract要約: ネットワーク内の類似性は、より効率的なニューラルネットワークを設計する新たな機会を提供する。 本稿では,冗長ブロックを検出するための単純な測度であるBlock Redundancyを導入し,冗長ブロックを近似するためにRBA(Redundant Blocks Approximation)を提案する。 RBAは、優れたパフォーマンスを維持しながら、モデルパラメータと時間の複雑さを減らす。
• 参考スコア（独自算出の注目度）: 25.436785396394804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks often learn similar internal representations, both across different models and within their own layers. While inter-network similarities have enabled techniques such as model stitching and merging, intra-network similarities present new opportunities for designing more efficient architectures. In this paper, we investigate the emergence of these internal similarities across different layers in diverse neural architectures, showing that similarity patterns emerge independently of the datataset used. We introduce a simple metric, Block Redundancy, to detect redundant blocks, providing a foundation for future architectural optimization methods. Building on this, we propose Redundant Blocks Approximation (RBA), a general framework that identifies and approximates one or more redundant computational blocks using simpler transformations. We show that the transformation $\mathcal{T}$ between two representations can be efficiently computed in closed-form, and it is enough to replace the redundant blocks from the network. RBA reduces model parameters and time complexity while maintaining good performance. We validate our method on classification tasks in the vision domain using a variety of pretrained foundational models and datasets.
• Abstract（参考訳）: ディープニューラルネットワークはしばしば、異なるモデルとそれぞれの層の両方で、同様の内部表現を学習する。 ネットワーク間の類似性は、モデルの縫合やマージといった技術を可能にする一方で、ネットワーク内の類似性は、より効率的なアーキテクチャを設計する新たな機会を提供する。 本稿では、様々なニューラルネットワークアーキテクチャにおいて、これらの内部的類似性の出現について検討し、その類似性パターンが使用するデータセットから独立して現れることを示す。 冗長ブロックを検出するための単純なメトリックであるBlock Redundancyを導入し、将来のアーキテクチャ最適化手法の基礎を提供する。 これに基づいて,より単純な変換を用いて1つ以上の冗長な計算ブロックを特定し,近似する一般的なフレームワークである冗長ブロック近似(RBA)を提案する。 2つの表現間の変換 $\mathcal{T}$ がクローズド形式で効率的に計算できることを示し、ネットワークから冗長ブロックを置き換えるのに十分である。 RBAは、優れたパフォーマンスを維持しながら、モデルパラメータと時間の複雑さを減らす。 我々は,事前学習された基礎モデルとデータセットを用いて,視覚領域における分類タスクの検証を行った。

関連論文リスト

• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Modeling Structure with Undirected Neural Networks [20.506232306308977]
  任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。 さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-08T10:06:51Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Differentiable Neural Architecture Search with Morphism-based Transformable Backbone Architectures [35.652234989200956]
  本研究の目的は,ワンショットトレーニングやオンライントレーニングにアーキテクチャ検索プロセスをより適応させることである。 ネットワークアソシエーションに基づいた、微分可能なニューラルアーキテクチャ探索のための成長メカニズムを導入している。 また、リカレントニューラルネットワークのための最近提案された2入力バックボーンアーキテクチャを実装した。
  論文  参考訳（メタデータ） (2021-06-14T07:56:33Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Inter-layer Transition in Neural Architecture Search [89.00449751022771]
  本論文では、連結エッジのアーキテクチャ重み間の依存性を明示的にモデル化する。 5つのベンチマーク実験により、層間依存性のモデル化の価値を確認し、提案手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-30T03:33:52Z)
• Adversarially Robust Neural Architectures [43.74185132684662]
  本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。 本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。 提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
  論文  参考訳（メタデータ） (2020-09-02T08:52:15Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Consistency of Spectral Clustering on Hierarchical Stochastic Block Models [5.983753938303726]
  実世界のネットワークにおけるコミュニティの階層構造について,汎用ブロックモデルを用いて検討する。 本手法の強い一貫性を,幅広いモデルパラメータで証明する。 既存のほとんどの研究とは異なり、我々の理論は接続確率が桁違いに異なるかもしれないマルチスケールネットワークをカバーしている。
  論文  参考訳（メタデータ） (2020-04-30T01:08:59Z)
• Concurrently Extrapolating and Interpolating Networks for Continuous Model Generation [34.72650269503811]
  本稿では,一組の特定効果ラベル画像のみを必要とするモデル列を形成するための,シンプルで効果的なモデル生成戦略を提案する。 提案手法は一連の連続モデルの生成が可能であり,画像平滑化のための最先端手法よりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-12T04:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。