論文の概要: Towards efficient feature sharing in MIMO architectures

• arxiv url: http://arxiv.org/abs/2205.10139v1
• Date: Fri, 20 May 2022 12:33:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 21:56:56.075763
• Title: Towards efficient feature sharing in MIMO architectures
• Title（参考訳）: MIMOアーキテクチャにおける効率的な機能共有を目指して
• Authors: R\'emy Sun, Alexandre Ram\'e, Cl\'ement Masson, Nicolas Thome, Matthieu Cord
• Abstract要約: マルチインプットのマルチアウトプットアーキテクチャでは、ひとつのベースネットワーク内でマルチワークをトレーニングし、サブネットワーク予測を平均化し、無料でアンサンブルの恩恵を受けることを提案している。 相対的な成功にもかかわらず、これらのアーキテクチャはパラメータの使用に不便である。 この論文では、学習したサブネットワークは、より小さなモバイルやAR/VRデバイスに適用性を制限する汎用的な機能でさえも共有できない点を強調します。
• 参考スコア（独自算出の注目度）: 102.40140369542755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-input multi-output architectures propose to train multiple subnetworks within one base network and then average the subnetwork predictions to benefit from ensembling for free. Despite some relative success, these architectures are wasteful in their use of parameters. Indeed, we highlight in this paper that the learned subnetwork fail to share even generic features which limits their applicability on smaller mobile and AR/VR devices. We posit this behavior stems from an ill-posed part of the multi-input multi-output framework. To solve this issue, we propose a novel unmixing step in MIMO architectures that allows subnetworks to properly share features. Preliminary experiments on CIFAR-100 show our adjustments allow feature sharing and improve model performance for small architectures.
• Abstract（参考訳）: マルチ入力マルチアウトプットアーキテクチャは、1つのベースネットワーク内で複数のサブネットワークをトレーニングし、そのサブネットワークの予測を平均して、センスリングを無料で利用できるようにする。 相対的な成功にもかかわらず、これらのアーキテクチャはパラメータの使用に不便である。 実際、我々はこの論文で、学習したサブネットワークは、より小さなモバイルやAR/VRデバイスに適用性を制限する汎用的な機能でさえも共有できないことを強調した。 この挙動はマルチインプット・マルチアウトプット・フレームワークの不適切な部分に由来すると仮定する。 この問題を解決するために,サブネットワークが機能を適切に共有できるように,mimoアーキテクチャにおける新しい非混合ステップを提案する。 CIFAR-100の予備実験により,小型アーキテクチャにおける特徴共有とモデル性能の向上が可能となった。

関連論文リスト

• AsCAN: Asymmetric Convolution-Attention Networks for Efficient Recognition and Generation [48.82264764771652]
  本稿では,畳み込みブロックと変圧器ブロックを組み合わせたハイブリッドアーキテクチャAsCANを紹介する。 AsCANは、認識、セグメンテーション、クラス条件画像生成など、さまざまなタスクをサポートしている。 次に、同じアーキテクチャをスケールして、大規模なテキスト・イメージタスクを解決し、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-07T18:43:17Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• DRESS: Dynamic REal-time Sparse Subnets [7.76526807772015]
  我々は、新しいトレーニングアルゴリズム、Dynamic REal-time Sparse Subnets (DRESS)を提案する。 DRESSは、同じバックボーンネットワークから行ベースの非構造空間を通して複数のサブネットワークをサンプリングし、重み付けされた損失と並行してこれらのサブネットワークを共同で訓練する。 公開ビジョンデータセットの実験では、DRESSは最先端のサブネットワークよりもはるかに精度が高いことが示されている。
  論文  参考訳（メタデータ） (2022-07-01T22:05:07Z)
• Build a Robust QA System with Transformer-based Mixture of Experts [0.29005223064604074]
  私たちは、ドメイン外のデータセットに適応できる堅牢な質問応答システムを構築しています。 我々は、ドメイン外評価において、最高のアーキテクチャとデータ拡張技術の組み合わせが53.477 F1スコアを達成することを示す。
  論文  参考訳（メタデータ） (2022-03-20T02:38:29Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• Exploiting Features with Split-and-Share Module [6.245453620070586]
  Split-and-Share Module (SSM) は、ある機能を複数のサブクラスで部分的に共有する部分に分割する。 SSMは、鐘や笛なしで簡単にどんなアーキテクチャにも統合できる。 我々は、ImageNet-1K分類タスクにおけるSSMの有効性を広範囲に検証した。
  論文  参考訳（メタデータ） (2021-08-10T08:11:26Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)
• Boosting Share Routing for Multi-task Learning [0.12891210250935145]
  マルチタスク学習(MTL)は、マルチタスク監視信号に含まれる知識をフル活用して、全体的なパフォーマンスを向上させることを目的としている。 複数のタスクの知識を適切に共有する方法は、MTLにとってオープンな問題である。 本稿では,MTNAS(Multi-Task Neural Architecture Search)と呼ばれる汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-01T12:37:19Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。