論文の概要: MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks

• arxiv url: http://arxiv.org/abs/2103.06132v1
• Date: Wed, 10 Mar 2021 15:31:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 01:07:47.548750
• Title: MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks
• Title（参考訳）: MixMo: ディープサブネットによる複数の出力に対する複数の入力の混合
• Authors: Alexandre Rame, Remy Sun, Matthieu Cord
• Abstract要約: マルチインプットマルチアウトプットディープワークを学ぶための新しいフレームワークであるMixMoを紹介します。 機能、特にCutMixのパッチによるバイナリの混合は、ワークをより強く、より多様なものにすることによって、結果を向上します。 実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。
• 参考スコア（独自算出の注目度）: 97.08677678499075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent strategies achieved ensembling for free by fitting concurrently diverse subnetworks inside a single base network. The main idea during training is that each subnetwork learns to classify only one of the multiple inputs simultaneously provided. However, the question of how these multiple inputs should be mixed has not been studied yet. In this paper, we introduce MixMo, a new generalized framework for learning multi-input multi-output deep subnetworks. Our key motivation is to replace the suboptimal summing operation hidden in previous approaches by a more appropriate mixing mechanism. For that purpose, we draw inspiration from successful mixed sample data augmentations. We show that binary mixing in features - particularly with patches from CutMix - enhances results by making subnetworks stronger and more diverse. We improve state of the art on the CIFAR-100 and Tiny-ImageNet classification datasets. In addition to being easy to implement and adding no cost at inference, our models outperform much costlier data augmented deep ensembles. We open a new line of research complementary to previous works, as we operate in features and better leverage the expressiveness of large networks.
• Abstract（参考訳）: 最近の戦略は、単一のベースネットワーク内に同時に多様なサブネットワークを組み込むことによって、無料でアンサンブルを実現した。 トレーニング中の主なアイデアは、各サブネットワークが同時に提供される複数の入力の1つだけを分類することを学ぶことです。 しかし、これらの複数の入力をどのように混合すべきかという疑問はまだ研究されていない。 本稿では,マルチインプットマルチアウトプット深層サブネットワーク学習のための新たな汎用フレームワークであるMixMoについて紹介する。 我々の主要な動機は、より適切な混合機構により、従来のアプローチに隠された最適下総和演算を置き換えることである。 そのためには、混合サンプルデータ強化の成功からインスピレーションを得ます。 機能、特にCutMixのパッチによるバイナリミキシングは、サブネットをより強く、より多様なものにすることによって、結果を向上します。 CIFAR-100およびTiny-ImageNet分類データセットの最新技術を改善します。 実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。 我々は,従来の研究を補完する新たな研究ラインをオープンし,機能的に運用し,大規模ネットワークの表現性を向上する。

関連論文リスト

• Network Fission Ensembles for Low-Cost Self-Ensembles [20.103367702014474]
  NFE(Network Fission Ensembles)と呼ばれる低コストのアンサンブル学習と推論を提案する。 まず、トレーニングの負担を軽減するために、いくつかの重みを取り除きます。 次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。
  論文  参考訳（メタデータ） (2024-08-05T08:23:59Z)
• The Benefits of Mixup for Feature Learning [117.93273337740442]
  最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
  論文  参考訳（メタデータ） (2023-03-15T08:11:47Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• OpenMixup: Open Mixup Toolbox and Benchmark for Visual Representation Learning [53.57075147367114]
  視覚表現学習のための最初のミックスアップ拡張とベンチマークであるOpenMixupを紹介する。 私たちは、スクラッチから18の代表的なミックスアップベースラインをトレーニングし、11の画像データセットでそれらを厳格に評価します。 また、人気のあるビジョンバックボーン、最適化戦略、分析ツールキットのコレクションを含むモジュラーバックボーンをオープンソースにしています。
  論文  参考訳（メタデータ） (2022-09-11T12:46:01Z)
• Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
  我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。 カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。 これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
  論文  参考訳（メタデータ） (2021-12-01T19:01:26Z)
• Rethinking Coarse-to-Fine Approach in Single Image Deblurring [19.195704769925925]
  マルチインプットマルチアウトプットU-netを用いた高速かつ高精度なデブロアリングネットワーク設計を提案する。 提案したネットワークは、精度と計算複雑性の両方の観点から最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-11T06:37:01Z)
• Mixup Without Hesitation [38.801366276601414]
  我々は、簡潔で効果的で使いやすいトレーニングアルゴリズムであるMixup Without hesitation (mWh)を提案する。 mWhは、ミックスアップを基本データ拡張に徐々に置き換えることで、探索とエクスプロイトのバランスを良くする。 私たちのコードはオープンソースで、https://github.com/yuhao318318/mwhで利用可能です。
  論文  参考訳（メタデータ） (2021-01-12T08:11:08Z)
• Puzzle Mix: Exploiting Saliency and Local Statistics for Optimal Mixup [19.680580983094323]
  Puzzle Mixは、サリエンシ情報と自然事例の基盤となる統計を明示的に活用するための混合手法である。 実験の結果,Puzzle Mixはアートの一般化と対向ロバスト性を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-09-15T10:10:23Z)
• Digit Image Recognition Using an Ensemble of One-Versus-All Deep Network Classifiers [2.385916960125935]
  本稿では,デジタル画像認識とテストのための新しい手法を実装し,その上で評価する。 アンサンブル内の全てのネットワークは、SGDMA(Gradient Descent with Momentum)を用いたOVAトレーニング技術によって訓練されている。 提案手法は,全データセットの数値画像認識におけるベースラインよりも優れている。
  論文  参考訳（メタデータ） (2020-06-28T15:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。