論文の概要: Dynamic Clone Transformer for Efficient Convolutional Neural Netwoks

• arxiv url: http://arxiv.org/abs/2106.06778v1
• Date: Sat, 12 Jun 2021 13:42:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:25:52.392391
• Title: Dynamic Clone Transformer for Efficient Convolutional Neural Netwoks
• Title（参考訳）: 効率的な畳み込みニューラルネットウォックのための動的クローントランスフォーマー
• Authors: Longqing Ye
• Abstract要約: 本稿では,多経路完全連結パターン(MPFC)という概念を導入し,位相パターンの相互依存性,精度,効率性を再考する。 MPFCにインスパイアされた動的クローントランス (DCT) と呼ばれるデュアルブランチモジュールを提案し、入力から複数の複製を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional networks (ConvNets) have shown impressive capability to solve various vision tasks. Nevertheless, the trade-off between performance and efficiency is still a challenge for a feasible model deployment on resource-constrained platforms. In this paper, we introduce a novel concept termed multi-path fully connected pattern (MPFC) to rethink the interdependencies of topology pattern, accuracy and efficiency for ConvNets. Inspired by MPFC, we further propose a dual-branch module named dynamic clone transformer (DCT) where one branch generates multiple replicas from inputs and another branch reforms those clones through a series of difference vectors conditional on inputs itself to produce more variants. This operation allows the self-expansion of channel-wise information in a data-driven way with little computational cost while providing sufficient learning capacity, which is a potential unit to replace computationally expensive pointwise convolution as an expansion layer in the bottleneck structure.
• Abstract（参考訳）: 畳み込みネットワーク(ConvNets)は、様々なビジョンタスクを解く素晴らしい能力を示している。 それでも、パフォーマンスと効率のトレードオフは、リソース制約のあるプラットフォーム上で実行可能なモデルデプロイメントの課題である。 本稿では,多経路完全連結パターン (MPFC) という新しい概念を導入し,位相パターンの相互依存性,精度,ConvNets の効率性を再考する。 mpfcに触発され、さらにdct(dynamic clone transformer)と呼ばれるデュアルブランチモジュールを提案し、あるブランチが入力から複数のレプリカを生成し、別のブランチは入力自体に条件付けされた一連の差分ベクトルを通じてクローンを再構成し、より多くの変種を生成する。 この操作により、十分な学習能力を提供しながら、少ない計算コストで、データ駆動方式でチャネル毎の情報を自己拡張することが可能であり、これはボトルネック構造の拡張層として計算コストの高いポイントワイズ畳み込みを置き換える潜在的なユニットである。

関連論文リスト

• Multiset Transformer: Advancing Representation Learning in Persistence Diagrams [11.512742322405906]
  マルチセットトランスフォーマー(Multiset Transformer)は、マルチセットを入力として特別に設計されたアテンションメカニズムを利用するニューラルネットワークである。 このアーキテクチャは、マルチセット強化された注意とプール分解スキームを統合し、同変層にまたがる多重性を維持できる。 実験により、Multiset Transformerは、永続図表表現学習の領域において、既存のニューラルネットワーク手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-22T01:38:47Z)
• Flexible Coded Distributed Convolution Computing for Enhanced Fault Tolerance and Numerical Stability in Distributed CNNs [26.347141131107172]
  本稿では,Flexible Coded Distributed Convolution Computingフレームワークを紹介する。 分散CNNの耐障害性と数値安定性を向上させる。 実験的な結果は、計算効率、耐障害性、スケーラビリティにおけるフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-11-03T14:05:29Z)
• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Sequence Modeling with Multiresolution Convolutional Memory [27.218134279968062]
  我々は、MultiresLayerと呼ばれるシーケンスモデリングのための新しいビルディングブロックを構築します。 我々のモデルの主要な構成要素はマルチレゾリューション・コンボリューションであり、入力シーケンスにおけるマルチスケールトレンドをキャプチャする。 本モデルでは,多数のシーケンス分類と自己回帰密度推定タスクについて,最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-05-02T17:50:54Z)
• PECAN: A Product-Quantized Content Addressable Memory Network [6.530758154165138]
  フィルタリングと線形変換は製品量子化(PQ)によってのみ実現される これにより、コンテンツアドレス可能なメモリ(CAM)による自然な実装が実現される。 PECAN(Product-Quantized Content Addressable Memory Network)の実現可能性を確認する実験
  論文  参考訳（メタデータ） (2022-08-13T08:33:56Z)
• OneDConv: Generalized Convolution For Transform-Invariant Representation [76.15687106423859]
  一般化された一次元畳み込み作用素(OneDConv)を提案する。 計算的かつパラメトリック的に効率的な方法で入力特徴に基づいて、畳み込みカーネルを動的に変換する。 一般的な画像のパフォーマンスを犠牲にすることなく、畳み込みの堅牢性と一般化を改善する。
  論文  参考訳（メタデータ） (2022-01-15T07:44:44Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias [76.16156833138038]
  コンボリューション, ie, ViTAEから内在性IBを探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 各トランス層では、ViTAEはマルチヘッド自己保持モジュールと平行な畳み込みブロックを持ち、その特徴は融合されフィードフォワードネットワークに供給される。
  論文  参考訳（メタデータ） (2021-06-07T05:31:06Z)
• Diverse Branch Block: Building a Convolution as an Inception-like Unit [123.59890802196797]
  畳み込みニューラルネットワーク(Convolutional Neural Network、ConvNet)のユニバーサルビルディングブロックを提案し、推論時間コストなしでパフォーマンスを向上させる。 Diverse Branch Block(DBB)は、異なるスケールと複雑さの多様なブランチを組み合わせることで、単一の畳み込みの表現能力を高めます。 トレーニング後、DBBを単一のConv層に等価に変換してデプロイすることができる。
  論文  参考訳（メタデータ） (2021-03-24T18:12:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。