論文の概要: From Deep to Shallow: Unconstrained and Efficient Layer Merging Strategy

• arxiv url: http://arxiv.org/abs/2609.04881v1
• Date: Fri, 04 Sep 2026 08:38:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.980039
• Title: From Deep to Shallow: Unconstrained and Efficient Layer Merging Strategy
• Title（参考訳）: 深層から浅層へ:非拘束で効率的なレイヤマージ戦略
• Abstract要約: ディープニューラルネットワークは、機械学習の多くの領域で基礎となっている。 冗長な活性化関数を同定・線形化するディープ圧縮法が提案されている。 これらの手法は2つの大きな課題に直面している:それらは直接パディングを伴う畳み込みに適用できない。 本稿では,既存の解析ソリューションを使わずに,カーネルサイズを増大させることなく,レイヤのマージを可能にする効率的な戦略を提案する。
• 参考スコア（独自算出の注目度）: 13.583841141384008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Deep Neural Networks have become foundational in many areas of Machine Learning, high computational demands limit their application in resource-constrained environments. To address this issue, depth compression methods have been proposed to identify and linearize redundant activation functions, thereby allowing for the merging of layers without intermediate non-linearities. However, these methods face two key challenges: they cannot be directly applied to convolutions with padding due to the absence of an analytical solution for merging these layers, and they typically increase the kernel size of merged layers, thus limiting speed-up gains. To overcome these limitations, we propose an efficient strategy that enables merging of layers without an existing analytical solution, and also without increasing kernel size. We validate our approach across multiple architectures and datasets, and measure inference speed-up gains on real embedded platforms. We publicly released the code at https://github.com/ShulzhenkoPetr/deep-to-shallow.
• Abstract（参考訳）: Deep Neural Networksは機械学習の多くの分野で基盤となっているが、高い計算要求はリソース制約のある環境での応用を制限する。 この問題に対処するため,冗長な活性化関数を同定・線形化する深度圧縮法が提案されている。 しかし、これらの手法は、これらの層をマージする解析解が存在しないため、パディングによる畳み込みに直接適用できないため、通常はマージされた層のカーネルサイズを増大させるため、スピードアップゲインが制限される、という2つの大きな課題に直面している。 これらの制限を克服するために,既存の解析ソリューションを使わずに,カーネルサイズを増大させることなく,レイヤのマージを可能にする効率的な戦略を提案する。 複数のアーキテクチャやデータセットにまたがるアプローチを検証するとともに,実際の組込みプラットフォーム上での推論速度向上を計測する。 コードをhttps://github.com/ShulzhenkoPetr/deep-to-shallow.comで公開しました。

関連論文リスト

• Towards Practical Lossless Neural Compression for LiDAR Point Clouds [84.36825469211375]
  高精度な幾何学的詳細の極端に広い範囲は、効率的な文脈モデリングを妨げる。 私たちのフレームワークは2つの軽量モジュールで構成されています。 実験では、リアルタイムに競争力のある圧縮性能を示す。
  論文  参考訳（メタデータ） (2026-03-26T10:02:07Z)
• Geminet: Learning the Duality-based Iterative Process for Lightweight Traffic Engineering in Changing Topologies [53.38648279089736]
  Geminetは軽量でスケーラブルなMLベースのTEフレームワークで、トポロジの変更を処理できる。 そのニューラルネットワークサイズは、既存のスキームの0.04%から7%に過ぎない。 大規模なトポロジでトレーニングすると、Geminetは10ギB未満のメモリを消費し、HARPが要求する80ギBの8倍以下である。
  論文  参考訳（メタデータ） (2025-06-30T09:09:50Z)
• SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
  レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-14T04:01:08Z)
• LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging [20.774060844559838]
  既存の深度圧縮法では、冗長な非線形活性化関数を除去し、連続する畳み込み層を単一の層にマージする。 これらの手法は、マージされたレイヤのカーネルサイズが大きくなるという重大な欠点に悩まされる。 畳み込み層とアクティベーション関数を併用することにより,この問題に対処できることを示す。 本稿では,どのアクティベーション層と畳み込み層を除去するかを選択するディープ圧縮手法であるLayerMergeを提案する。
  論文  参考訳（メタデータ） (2024-06-18T17:55:15Z)
• LaCoOT: Layer Collapse through Optimal Transport [9.715121047425262]
  本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを削減するための最適輸送方式を提案する。 提案手法は,既存の手法に比べて高い性能/深度トレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2024-06-13T09:03:53Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
  性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。 The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
  論文  参考訳（メタデータ） (2021-07-06T19:51:37Z)
• DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
  本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。 大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
  論文  参考訳（メタデータ） (2021-02-05T11:31:24Z)
• Comprehensive Online Network Pruning via Learnable Scaling Factors [3.274290296343038]
  ディープCNNは、その重要性に基づいてフィルタを除去することで幅的に刈り取るか、レイヤやブロックを除去することで深さ的に刈り取ることができる。 本研究では,幅ワイドおよび深さワイドプルーニングを両立できる包括的プルーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-06T11:04:17Z)
• Perceptron Synthesis Network: Rethinking the Action Scale Variances in Videos [48.57686258913474]
  ビデオアクション認識は、固定サイズの3Dカーネルを積み重ねたCNNによって部分的に解決されている。 データから最適なスケールのカーネルを学習することを提案する。 固定サイズのカーネルの袋からカーネルを生成するために,テキスト分割パーセプトロンシンセサイザーを提案する。
  論文  参考訳（メタデータ） (2020-07-22T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。