論文の概要: MRL: Learning to Mix with Attention and Convolutions

• arxiv url: http://arxiv.org/abs/2208.13975v1
• Date: Tue, 30 Aug 2022 03:42:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-31 12:39:31.681360
• Title: MRL: Learning to Mix with Attention and Convolutions
• Title（参考訳）: MRL: 注意と畳み込みを混合する学習
• Authors: Shlok Mohta, Hisahiro Suganuma and Yoshiki Tanaka
• Abstract要約: 我々は、MRL(Mixing Regionally and Locally)という、視覚領域のための新しいニューラルネットワークアーキテクチャブロックを提案する。 我々は、入力特徴混合タスクを、地域規模と地域規模で混在させ、効率的な混合を実現するために、自己意識によって提供される領域全体の受容場を利用する。 実験により、この自己意識と畳み込みのハイブリッド化は、能力の向上、一般化(真の帰納バイアス)、効率性をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 0.9023847175654603
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we present a new neural architectural block for the vision domain, named Mixing Regionally and Locally (MRL), developed with the aim of effectively and efficiently mixing the provided input features. We bifurcate the input feature mixing task as mixing at a regional and local scale. To achieve an efficient mix, we exploit the domain-wide receptive field provided by self-attention for regional-scale mixing and convolutional kernels restricted to local scale for local-scale mixing. More specifically, our proposed method mixes regional features associated with local features within a defined region, followed by a local-scale features mix augmented by regional features. Experiments show that this hybridization of self-attention and convolution brings improved capacity, generalization (right inductive bias), and efficiency. Under similar network settings, MRL outperforms or is at par with its counterparts in classification, object detection, and segmentation tasks. We also show that our MRL-based network architecture achieves state-of-the-art performance for H&E histology datasets. We achieved DICE of 0.843, 0.855, and 0.892 for Kumar, CoNSep, and CPM-17 datasets, respectively, while highlighting the versatility offered by the MRL framework by incorporating layers like group convolutions to improve dataset-specific generalization.
• Abstract（参考訳）: 本稿では,提案した入力特徴を効果的かつ効率的に混合することを目的とした,MRL(Mixing Regionally and Locally)と呼ばれる視覚領域のためのニューラルアーキテクチャブロックを提案する。 入力特徴混合タスクを局所的・局所的な混合として分岐する。 効率的な混合を実現するために,局所的混合と局所的混合に制限された畳み込み核に対して自己アテンションによって提供される領域全体の受容場を利用する。 より具体的には,提案手法は地域特徴に関連付けられた地域特徴を混合し,続いて地域特徴を混合する局所的特徴を混合する。 実験により、この自己結合と畳み込みのハイブリッド化により、能力、一般化(右帰納バイアス)、効率が向上することが示された。 同様のネットワーク設定の下では、MRLは分類、オブジェクト検出、セグメンテーションタスクにおいて、それと同等または同等である。 また, MRLに基づくネットワークアーキテクチャがH&Eヒストロジーデータセットの最先端性能を実現することを示す。 我々は、データセット固有の一般化を改善するために、グループ畳み込みのようなレイヤを組み込むことで、MRLフレームワークが提供する汎用性を強調しつつ、Kumar、CoNSep、CPM-17データセットに対して0.843、0.855、0.892のDICEを実現した。

関連論文リスト

• Personalized Collaborative Fine-Tuning for On-Device Large Language Models [33.68104398807581]
  ローカルデータ利用率に制限のある大規模言語モデルのデバイス上での自己教師型協調微調整について検討する。 本稿では,信頼度重み付き勾配集約方式として,重み類似度ベース,予測類似度ベース,検証性能ベースという3つの方法を紹介する。 予測および性能指標によって駆動される当社のプロトコルは、FedAvgと局所的な微調整手法の両方を超越している。
  論文  参考訳（メタデータ） (2024-04-15T12:54:31Z)
• Digging Into Normal Incorporated Stereo Matching [18.849192633442453]
  NDP(Non-local Disparity propagation)とARL(Affinity-aware residual Learning)という2つのモジュールからなる通常の統合型共同学習フレームワークを提案する。 この作業が完了するまでに、我々のアプローチは、KITTI 2015データセットにおける前景ピクセル間のステレオマッチングで1位、Scene Flowデータセットで3位にランクインしました。
  論文  参考訳（メタデータ） (2024-02-28T09:01:50Z)
• Bidirectional Domain Mixup for Domain Adaptive Semantic Segmentation [73.3083304858763]
  本稿では,ドメイン適応型セマンティックセグメンテーションタスクにおけるミックスアップの影響を系統的に研究する。 具体的には、ドメインミックスアップをカットとペーストという2ステップで実現します。 フレームワークの主なコンポーネントを実証的に検証するために、広範囲にわたるアブレーション実験を行います。
  論文  参考訳（メタデータ） (2023-03-17T05:22:44Z)
• IDA: Informed Domain Adaptive Semantic Segmentation [51.12107564372869]
  クラスレベルのセグメンテーション性能に基づいてデータを混合する自己学習フレームワークであるDomain Informed Adaptation (IDA) モデルを提案する。 IDAモデルでは、クラスレベルの性能を期待信頼スコア(ECS)によって追跡し、動的スケジュールを用いて異なる領域のデータに対する混合比を決定する。 提案手法は,GTA-Vの都市景観への適応において1.1 mIoU,SynTHIAの都市への適応において0.9 mIoUのマージンで,最先端のUDA-SS法よりも優れる。
  論文  参考訳（メタデータ） (2023-03-05T18:16:34Z)
• Global Meets Local: Effective Multi-Label Image Classification via Category-Aware Weak Supervision [37.761378069277676]
  本稿では,効果的雑音・確率抑圧を実現するための統一的な枠組みを構築した。 我々はグローバルな特徴とローカルな特徴の相補的な情報を探るため、粒度横断型アテンションモジュールを開発した。 我々のフレームワークは最先端の手法よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2022-11-23T05:39:17Z)
• Region-Based Semantic Factorization in GANs [67.90498535507106]
  本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。 適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。 様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-02-19T17:46:02Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Region-based Non-local Operation for Video Classification [11.746833714322154]
  本稿では,地域別非局所的(RNL)操作を自己注意機構のファミリーとして提案する。 チャネルアテンションモジュールと提案したRNLを組み合わせることで,市販のCNNに組み込んだアテンションチェーンを設計し,エンドツーエンドのトレーニングを行う。 提案手法の実験結果は,他の注意機構よりも優れており,Something V1データセット上での最先端性能を実現している。
  論文  参考訳（メタデータ） (2020-07-17T14:57:05Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)
• LRC-Net: Learning Discriminative Features on Point Clouds by Encoding Local Region Contexts [65.79931333193016]
  本稿では,LRC-Net(Local-Region-Context Network)を提案する。 LRC-Netは、局所領域内および周辺領域間の微粒なコンテキストを同時に符号化する。 その結果, LRC-Netは形状分類や形状分割の応用において最先端の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2020-03-18T14:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。