論文の概要: Poly-NL: Linear Complexity Non-local Layers with Polynomials
- arxiv url: http://arxiv.org/abs/2107.02859v1
- Date: Tue, 6 Jul 2021 19:51:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-08 14:08:36.123138
- Title: Poly-NL: Linear Complexity Non-local Layers with Polynomials
- Title（参考訳）: ポリNL-リニア複素非局所層とポリノミアル
- Authors: Francesca Babiloni, Ioannis Marras, Filippos Kokkinos, Jiankang Deng,
Grigorios Chrysos, Stefanos Zafeiriou
- Abstract要約: 性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。
The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
- 参考スコア（独自算出の注目度）: 76.21832434001759
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial self-attention layers, in the form of Non-Local blocks, introduce
long-range dependencies in Convolutional Neural Networks by computing pairwise
similarities among all possible positions. Such pairwise functions underpin the
effectiveness of non-local layers, but also determine a complexity that scales
quadratically with respect to the input size both in space and time. This is a
severely limiting factor that practically hinders the applicability of
non-local blocks to even moderately sized inputs. Previous works focused on
reducing the complexity by modifying the underlying matrix operations, however
in this work we aim to retain full expressiveness of non-local layers while
keeping complexity linear. We overcome the efficiency limitation of non-local
blocks by framing them as special cases of 3rd order polynomial functions. This
fact enables us to formulate novel fast Non-Local blocks, capable of reducing
the complexity from quadratic to linear with no loss in performance, by
replacing any direct computation of pairwise similarities with element-wise
multiplications. The proposed method, which we dub as "Poly-NL", is competitive
with state-of-the-art performance across image recognition, instance
segmentation, and face detection tasks, while having considerably less
computational overhead.
- Abstract（参考訳）: 空間的自己注意層は、非局所ブロックの形で、あらゆる可能な位置のペアの類似性を計算することによって、畳み込みニューラルネットワークに長距離依存を導入する。
このようなペアワイズ関数は非局所層の有効性を裏付けるだけでなく、空間と時間の両方で入力サイズに関して二次的にスケールする複雑性も決定する。
これは、局所的でないブロックが中程度の大きさの入力に適用できることを事実上阻害する深刻な制限要因である。
従来の研究は、基礎となる行列操作を変更することで複雑さを減らすことに重点を置いていたが、本研究では、複雑性を線形に保ちながら非局所層の完全な表現性を維持することを目的としている。
3次多項式関数の特別な場合とすることで、非局所ブロックの効率限界を克服する。
この事実により、ペアワイズ類似性の直接計算を要素ワイズ乗算に置き換えることで、新しい高速非局所ブロックを定式化し、性能を損なうことなく二次から線形への複雑さを低減できる。
提案手法は「poly-nl」と呼ばれ,画像認識,インスタンスセグメンテーション,顔検出タスクにおける最先端の性能と競合するが,計算オーバーヘッドは極めて少ない。
関連論文リスト
- Verifying Properties of Binary Neural Networks Using Sparse Polynomial Optimization [8.323690755070123]
本稿では,バイナリニューラルネットワーク(BNN)の特性検証手法について検討する。
フル精度のBNNと同様、入力の摂動にも敏感だ。
スパース多項式最適化から導かれる半有限プログラミング緩和を用いた代替手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T11:03:48Z) - Optimization on a Finer Scale: Bounded Local Subgradient Variation Perspective [17.5796206457693]
局所的な局所次変分の下での非滑らかな最適化問題について検討する。
得られた目的のクラスは、定義されたクラスに基づいて目的のクラスをカプセル化する。
論文 参考訳（メタデータ） (2024-03-24T22:42:40Z) - Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。
この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。
本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文 参考訳（メタデータ） (2023-06-12T16:17:04Z) - Optimization-based Block Coordinate Gradient Coding for Mitigating
Partial Stragglers in Distributed Learning [58.91954425047425]
本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。
L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
論文 参考訳（メタデータ） (2022-06-06T09:25:40Z) - Hybrid Trilinear and Bilinear Programming for Aligning Partially
Overlapping Point Sets [85.71360365315128]
多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。
まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。
次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-01-19T04:24:23Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z) - Concurrent Alternating Least Squares for multiple simultaneous Canonical
Polyadic Decompositions [2.3513645401551333]
我々は,Matlabにインターフェースを提供するConcurrent ALSアルゴリズムとライブラリを紹介する。
我々は,同じテンソルの複数の分解をアルゴリズムレベルで融合させて算術強度を増大させる方法を示す。
人工データセットと実データセットの実験結果は、算術強度の増加による完了までの時間短縮を示す。
論文 参考訳（メタデータ） (2020-10-09T16:55:46Z) - LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。
このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文 参考訳（メタデータ） (2020-08-04T05:41:29Z) - PNL: Efficient Long-Range Dependencies Extraction with Pyramid Non-Local
Module for Action Recognition [19.010874017607247]
非ローカルな手段にインスパイアされた非ローカルなブロックは、この問題に対処するために設計されている。
非ローカルブロックは、元のネットワークに計算コストを大幅に増加させる。
また、ビデオの地域相関をモデル化する能力も欠如している。
構造されたピラミッドモジュールにおける局所的相関を組み込んで非局所ブロックを拡張したピラミッド非局所(PNL)モジュールを提案する。
論文 参考訳（メタデータ） (2020-06-09T07:40:23Z) - Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。
ラグランジアン分解に基づく新しい手法を提案する。
ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
論文 参考訳（メタデータ） (2020-02-24T17:55:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。