論文の概要: Deformable Butterfly: A Highly Structured and Sparse Linear Transform

• arxiv url: http://arxiv.org/abs/2203.13556v1
• Date: Fri, 25 Mar 2022 10:20:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-03-28 12:39:09.864411
• Title: Deformable Butterfly: A Highly Structured and Sparse Linear Transform
• Title（参考訳）: 変形可能な蝶:高度に構造化されスパースな線形変換
• Authors: Rui Lin, Jie Ran, King Hung Chiu, Graziano Chesi, and Ngai Wong
• Abstract要約: 本稿では,従来のバタフライ行列を一般化したデフォルマブル・バタフライ(Deformable Butterfly, DeBut)という線形変換を導入する。 従来の蝶のきめ細かい粒度の学習可能な階層を継承し、ニューラルネットワークにデプロイすると、DeBut層における顕著な構造と空間性が、ネットワーク圧縮の新しい方法を構成する。
• 参考スコア（独自算出の注目度）: 5.695853802236908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new kind of linear transform named Deformable Butterfly (DeBut) that generalizes the conventional butterfly matrices and can be adapted to various input-output dimensions. It inherits the fine-to-coarse-grained learnable hierarchy of traditional butterflies and when deployed to neural networks, the prominent structures and sparsity in a DeBut layer constitutes a new way for network compression. We apply DeBut as a drop-in replacement of standard fully connected and convolutional layers, and demonstrate its superiority in homogenizing a neural network and rendering it favorable properties such as light weight and low inference complexity, without compromising accuracy. The natural complexity-accuracy tradeoff arising from the myriad deformations of a DeBut layer also opens up new rooms for analytical and practical research. The codes and Appendix are publicly available at: https://github.com/ruilin0212/DeBut.
• Abstract（参考訳）: Deformable Butterfly (DeBut) と呼ばれる新しい線形変換を導入し、従来のバタフライ行列を一般化し、様々な入力出力次元に適応させることができる。 従来の蝶のきめ細かい粒度の学習可能な階層を継承し、ニューラルネットワークにデプロイすると、DeBut層の顕著な構造と空間がネットワーク圧縮の新しい方法を構成する。 我々は,標準完全連結層および畳み込み層のドロップイン置換としてデビューを応用し,ニューラルネットワークの均質化においてその優位性を実証し,その精度を損なうことなく,軽量や低推論の複雑さといった優れた特性を提示する。 DeBut層の無数の変形から生じる自然の複雑さと精度のトレードオフは、分析的および実用的な研究のための新しい部屋を開く。 コードとAppendixは、https://github.com/ruilin0212/DeBut.comで公開されている。

関連論文リスト

• Lite it fly: An All-Deformable-Butterfly Network [7.8460795568982435]
  ほとんどのディープニューラルネットワーク(DNN)は、基本的に畳み込み層と/または完全に接続された層で構成されている。 最近提案された変形可能な蝶(DeBut)は、フィルター行列を一般化された蝶様因子に分解する。 この研究は、DeButと奥行きと点方向の畳み込みの体系的な階層との親密な関係を明らかにしている。
  論文  参考訳（メタデータ） (2023-11-14T12:41:22Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• ButterflyFlow: Building Invertible Layers with Butterfly Matrices [80.83142511616262]
  そこで本研究では,蝶の層に基づく可逆線形層を新たに提案する。 可逆なバタフライ層をベースとして,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。
  論文  参考訳（メタデータ） (2022-09-28T01:58:18Z)
• Generalization by design: Shortcuts to Generalization in Deep Learning [7.751691910877239]
  よい一般化は、新しい幾何正則化器につながる層上の有界スペクトル積によってもたらされることを示す。 理論によって裏付けられ、我々は「設計による一般化」が現実的に可能であり、優れた一般化がネットワークの構造にコード化されることをさらに実証する。
  論文  参考訳（メタデータ） (2021-07-05T20:01:23Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• Lattice gauge equivariant convolutional neural networks [0.0]
  汎用機械学習アプリケーションのためのLattice gauge equivariant Convolutional Neural Networks (L-CNNs)を提案する。 L-CNNは従来の畳み込みニューラルネットワークでは見つけられないゲージ不変量を学習・一般化できることを示した。
  論文  参考訳（メタデータ） (2020-12-23T19:00:01Z)
• Shape Adaptor: A Learnable Resizing Module [59.940372879848624]
  ニューラルネットワークのための新しいリサイズモジュール: 従来のリサイズ層上に構築されたドロップインエンハンスメントであるシェイプアダプタを提案する。 我々の実装では、追加の監督なしに形状適応器をエンドツーエンドで訓練することが可能です。 ネットワーク圧縮と伝達学習の2つの応用における形状適応器の有効性を示す。
  論文  参考訳（メタデータ） (2020-08-03T14:15:52Z)
• Sparse Linear Networks with a Fixed Butterfly Structure: Theory and Practice [4.3400407844814985]
  本稿では,バタフライネットワークに基づくアーキテクチャにより,ニューラルネットワーク内の密度線形層を置き換えることを提案する。 NLPデータと視覚データの両方の教師付き予測を含む実験のコレクションでは、これは単に既存のよく知られたアーキテクチャにマッチする結果をもたらすだけでなく、時には優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:45:03Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。