論文の概要: Interflow: Aggregating Multi-layer Feature Mappings with Attention Mechanism

• arxiv url: http://arxiv.org/abs/2106.14073v1
• Date: Sat, 26 Jun 2021 18:22:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 18:08:44.741959
• Title: Interflow: Aggregating Multi-layer Feature Mappings with Attention Mechanism
• Title（参考訳）: interflow: アテンション機構による多層特徴マッピングの集約
• Authors: Zhicheng Cai
• Abstract要約: 本稿では,従来のCNNモデルに特化してInterflowアルゴリズムを提案する。 Interflowは、深さに応じてCNNを複数のステージに分割し、各ステージの特徴マッピングによって予測する。 勾配の消失問題を緩和し、ネットワーク深度選択の難しさを低減し、過度に適合できる問題を緩和することができる。
• 参考スコア（独自算出の注目度）: 0.7614628596146599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditionally, CNN models possess hierarchical structures and utilize the feature mapping of the last layer to obtain the prediction output. However, it can be difficulty to settle the optimal network depth and make the middle layers learn distinguished features. This paper proposes the Interflow algorithm specially for traditional CNN models. Interflow divides CNNs into several stages according to the depth and makes predictions by the feature mappings in each stage. Subsequently, we input these prediction branches into a well-designed attention module, which learns the weights of these prediction branches, aggregates them and obtains the final output. Interflow weights and fuses the features learned in both shallower and deeper layers, making the feature information at each stage processed reasonably and effectively, enabling the middle layers to learn more distinguished features, and enhancing the model representation ability. In addition, Interflow can alleviate gradient vanishing problem, lower the difficulty of network depth selection, and lighten possible over-fitting problem by introducing attention mechanism. Besides, it can avoid network degradation as a byproduct. Compared with the original model, the CNN model with Interflow achieves higher test accuracy on multiple benchmark datasets.
• Abstract（参考訳）: 伝統的に、CNNモデルは階層構造を持ち、最終層の特徴マッピングを利用して予測出力を得る。 しかし、最適なネットワーク深度を解決し、中間層に優れた特徴を学習させることは困難である。 本稿では従来のCNNモデルに特化してInterflowアルゴリズムを提案する。 Interflowは、深さに応じてCNNを複数のステージに分割し、各ステージの特徴マッピングによって予測する。 その後、これらの予測分岐をよく設計された注意モジュールに入力し、予測分岐の重みを学習し、それらを集約し、最終的な出力を得る。 インターフローは、浅層と深層の両方で学んだ特徴を重み付け、融合させ、各ステージの特徴情報を合理的かつ効果的に処理し、中間層がより優れた特徴を学習し、モデル表現能力を高める。 また,注視機構を導入することで,勾配消失問題を緩和し,ネットワーク奥行き選択の難易度を低減し,オーバーフィッティング問題を軽量化することができる。 また、副産物としてネットワーク劣化を回避できる。 オリジナルのモデルと比較して、Interflowを用いたCNNモデルは、複数のベンチマークデータセットで高いテスト精度を達成する。

関連論文リスト

• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Parallel Multi-Scale Networks with Deep Supervision for Hand Keypoint Detection [3.1781111932870716]
  マルチスケールディープスーパービジョンネットワーク(P-MSDSNet)という新しいCNNモデルを提案する。 P-MSDSNetは、層から層への適応的な特徴伝達のための注意マップを作成するために、深い監督の下で異なるスケールで特徴マップを学習する。 P-MSDSNetは,パラメータの少ないベンチマークデータセットにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-19T22:38:16Z)
• Inference Graphs for CNN Interpretation [12.765543440576144]
  畳み込みニューラルネットワーク(CNN)は多くの視覚関連タスクにおいて優れた精度を実現している。 本稿では,確率モデルを用いたネットワーク隠蔽層の活動のモデル化を提案する。 このようなグラフは、クラス全体の推論プロセスの理解や、ネットワークが特定の画像に対して行う決定を説明するのに有用であることを示す。
  論文  参考訳（メタデータ） (2021-10-20T13:56:09Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• AutoPruning for Deep Neural Network with Dynamic Channel Masking [28.018077874687343]
  深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。 まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。 次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T20:12:46Z)
• Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
  この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。 提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
  論文  参考訳（メタデータ） (2020-08-01T17:14:13Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。