論文の概要: Learning Features with Parameter-Free Layers
- arxiv url: http://arxiv.org/abs/2202.02777v1
- Date: Sun, 6 Feb 2022 14:03:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 15:13:49.184347
- Title: Learning Features with Parameter-Free Layers
- Title（参考訳）: パラメータフリー層による特徴学習
- Authors: Dongyoon Han, YoungJoon Yoo, Beomyoung Kim, Byeongho Heo
- Abstract要約: 本稿では、ネットワークアーキテクチャにおける効率的なトレーニング可能なレイヤの代替として、単純なパラメータフリーな操作が好ましいと論じる。
ImageNetデータセットの実験では、パラメータフリーな操作を持つネットワークアーキテクチャは、モデル速度、パラメータ数、FLOPのさらなる効率性の利点を享受できることが示されている。
- 参考スコア（独自算出の注目度）: 22.92568642331809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trainable layers such as convolutional building blocks are the standard
network design choices by learning parameters to capture the global context
through successive spatial operations. When designing an efficient network,
trainable layers such as the depthwise convolution is the source of efficiency
in the number of parameters and FLOPs, but there was little improvement to the
model speed in practice. This paper argues that simple built-in parameter-free
operations can be a favorable alternative to the efficient trainable layers
replacing spatial operations in a network architecture. We aim to break the
stereotype of organizing the spatial operations of building blocks into
trainable layers. Extensive experimental analyses based on layer-level studies
with fully-trained models and neural architecture searches are provided to
investigate whether parameter-free operations such as the max-pool are
functional. The studies eventually give us a simple yet effective idea for
redesigning network architectures, where the parameter-free operations are
heavily used as the main building block without sacrificing the model accuracy
as much. Experimental results on the ImageNet dataset demonstrate that the
network architectures with parameter-free operations could enjoy the advantages
of further efficiency in terms of model speed, the number of the parameters,
and FLOPs. Code and ImageNet pretrained models are available at
https://github.com/naver-ai/PfLayer.
- Abstract（参考訳）: 畳み込み構造ブロックのようなトレーニング可能なレイヤは、連続した空間操作を通じてグローバルコンテキストをキャプチャするパラメータを学習することで、標準的なネットワーク設計選択である。
効率的なネットワークを設計する場合、深さ方向畳み込みなどの学習可能な層は、パラメータやフロップ数における効率の源であるが、実際にはモデル速度にはほとんど改善がなかった。
本稿では,ネットワークアーキテクチャにおける空間的操作に代えて,効率的なトレーニング可能なレイヤの代替として,シンプルなパラメータフリー操作が望ましいと論じる。
建築ブロックの空間的操作をトレーニング可能な層に整理するステレオタイプを破ることを目的としている。
最大プールなどのパラメータフリー操作が機能するかどうかを調べるため,完全学習モデルを用いた層レベルの研究とニューラルアーキテクチャ探索に基づく大規模な実験分析を行った。
この研究は最終的に、パラメータフリー操作をモデル精度を犠牲にすることなくメインビルディングブロックとして多用するネットワークアーキテクチャを再設計する、シンプルで効果的なアイデアを与えてくれます。
ImageNetデータセットの実験結果から、パラメータフリーな演算を持つネットワークアーキテクチャは、モデル速度、パラメータ数、FLOPのさらなる効率性の利点を享受できることが示された。
コードとImageNet事前トレーニングされたモデルはhttps://github.com/naver-ai/PfLayer.comで入手できる。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Toward Efficient Convolutional Neural Networks With Structured Ternary Patterns [1.1965844936801797]
畳み込みニューラルネットワーク(ConvNets)は、ローカルデバイスリソースに厳しい要求を課す。
本稿では,静的畳み込みフィルタを用いて効率的なConvNetアーキテクチャの設計を行う。
論文 参考訳（メタデータ） (2024-07-20T10:18:42Z) - Growing Tiny Networks: Spotting Expressivity Bottlenecks and Fixing Them Optimally [2.645067871482715]
機械学習タスクでは、ある機能空間内で最適な関数を探索する。
この方法で、トレーニング中の機能の進化を、選択したアーキテクチャで表現可能な領域内に配置させます。
表現力のボトルネックによる望ましいアーキテクチャ変更に関する情報は, 後処理の % から抽出可能であることを示す。
論文 参考訳（メタデータ） (2024-05-30T08:23:56Z) - Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳（メタデータ） (2024-03-03T08:25:04Z) - PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
我々は PDSketch という新しいドメイン定義言語を提案する。
これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。
移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
論文 参考訳（メタデータ） (2023-03-09T18:54:12Z) - Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。
U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
論文 参考訳（メタデータ） (2023-03-01T17:38:03Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳（メタデータ） (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。