論文の概要: Efficient CNN with uncorrelated Bag of Features pooling

• arxiv url: http://arxiv.org/abs/2209.10865v1
• Date: Thu, 22 Sep 2022 09:00:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 13:33:27.041413
• Title: Efficient CNN with uncorrelated Bag of Features pooling
• Title（参考訳）: 機能プールの非相関バッグを用いた効率的なCNN
• Authors: Firas Laakom, Jenni Raitoharju, Alexandros Iosifidis and Moncef Gabbouj
• Abstract要約: Bag of Features (BoF)は、畳み込み層の複雑さを軽減するために最近提案されている。 本稿では,BoFプーリング上に構築した手法を用いて,学習辞書の項目が非冗長であることを保証する。 提案した戦略は、BoFの効率的な変種を生成し、追加のパラメータを使わずにその性能をさらに向上させる。
• 参考スコア（独自算出の注目度）: 98.78384185493624
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Despite the superior performance of CNN, deploying them on low computational power devices is still limited as they are typically computationally expensive. One key cause of the high complexity is the connection between the convolution layers and the fully connected layers, which typically requires a high number of parameters. To alleviate this issue, Bag of Features (BoF) pooling has been recently proposed. BoF learns a dictionary, that is used to compile a histogram representation of the input. In this paper, we propose an approach that builds on top of BoF pooling to boost its efficiency by ensuring that the items of the learned dictionary are non-redundant. We propose an additional loss term, based on the pair-wise correlation of the items of the dictionary, which complements the standard loss to explicitly regularize the model to learn a more diverse and rich dictionary. The proposed strategy yields an efficient variant of BoF and further boosts its performance, without any additional parameters.
• Abstract（参考訳）: CNNの性能は優れているが、計算能力の低いデバイスにデプロイすることは、通常計算コストが高いため、依然として制限されている。 複雑化の大きな原因の1つは、畳み込み層と完全に接続された層との間の接続であり、通常は多くのパラメータを必要とする。 この問題を軽減するため、最近 bag of features (bof) pooling が提案されている。 BoFは、入力のヒストグラム表現のコンパイルに使用される辞書を学習する。 本稿では,学習辞書の項目が冗長でないことを保証することにより,その効率を高めるため,bofプール上に構築する手法を提案する。 そこで本研究では,より多様で豊かな辞書を学習するために,標準損失を補完する辞書の対関係に基づいて,モデルを明示的に規則化する追加の損失項を提案する。 提案された戦略はbofの効率的な変種をもたらし、追加のパラメータなしで性能をさらに向上させる。

関連論文リスト

• Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic Interpretability: A Case Study on Othello-GPT [59.245414547751636]
  本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。 当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。 我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
  論文  参考訳（メタデータ） (2024-02-19T15:04:53Z)
• NFLAT: Non-Flat-Lattice Transformer for Chinese Named Entity Recognition [39.308634515653914]
  我々は,計算コストとメモリコストを効果的に削減する新しい語彙拡張手法であるInterFormerを提唱する。 FLATと比較して「単語文字」と「単語」の不要な注意計算を減らす これにより、メモリ使用量が約50%削減され、ネットワークトレーニングのためにより広範なレキシコンやより高いバッチを使用することができる。
  論文  参考訳（メタデータ） (2022-05-12T01:55:37Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs [15.289356276538662]
  固定サイズのエンティティ語彙を学習するためのアンカーベースのアプローチであるNodePieceを提案する。 NodePieceでは、サブワード/サブエンティティユニットの語彙は、既知の関係型を持つグラフのアンカーノードから構築される。 実験の結果、NodePieceはノード分類、リンク予測、関係予測タスクで競合的に動作していることがわかった。
  論文  参考訳（メタデータ） (2021-06-23T03:51:03Z)
• PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
  本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。 我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。 合成および画像復号化実験により,本研究の成果を補完する。
  論文  参考訳（メタデータ） (2021-05-31T18:49:58Z)
• The Temporal Dictionary Ensemble (TDE) Classifier for Time Series Classification [0.0]
  時間辞書アンサンブル(TDE)は他の辞書ベースアプローチよりも正確である。 HIVE-COTEは、現在の最高のディープラーニングアプローチよりもはるかに正確です。 この進歩は時系列の分類のための芸術の新しい状態を表します。
  論文  参考訳（メタデータ） (2021-05-09T05:27:42Z)
• Text Information Aggregation with Centrality Attention [86.91922440508576]
  本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。 文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
  論文  参考訳（メタデータ） (2020-11-16T13:08:48Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。