論文の概要: DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference

• arxiv url: http://arxiv.org/abs/2107.07706v1
• Date: Fri, 16 Jul 2021 04:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-19 14:47:07.492796
• Title: DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference
• Title（参考訳）: DANCE: 効率的なセグメンテーションモデルトレーニングと推論のためのDAta-Networkの共同最適化
• Authors: Chaojian Li, Wuyang Chen, Yuchen Gu, Tianlong Chen, Yonggan Fu, Zhangyang Wang, Yingyan Lin
• Abstract要約: DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。 入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。 実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
• 参考スコア（独自算出の注目度）: 85.02494022662505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation for scene understanding is nowadays widely demanded, raising significant challenges for the algorithm efficiency, especially its applications on resource-limited platforms. Current segmentation models are trained and evaluated on massive high-resolution scene images ("data level") and suffer from the expensive computation arising from the required multi-scale aggregation("network level"). In both folds, the computational and energy costs in training and inference are notable due to the often desired large input resolutions and heavy computational burden of segmentation models. To this end, we propose DANCE, general automated DAta-Network Co-optimization for Efficient segmentation model training and inference. Distinct from existing efficient segmentation approaches that focus merely on light-weight network design, DANCE distinguishes itself as an automated simultaneous data-network co-optimization via both input data manipulation and network architecture slimming. Specifically, DANCE integrates automated data slimming which adaptively downsamples/drops input images and controls their corresponding contribution to the training loss guided by the images' spatial complexity. Such a downsampling operation, in addition to slimming down the cost associated with the input size directly, also shrinks the dynamic range of input object and context scales, therefore motivating us to also adaptively slim the network to match the downsampled data. Extensive experiments and ablating studies (on four SOTA segmentation models with three popular segmentation datasets under two training settings) demonstrate that DANCE can achieve "all-win" towards efficient segmentation(reduced training cost, less expensive inference, and better mean Intersection-over-Union (mIoU)).
• Abstract（参考訳）: シーン理解のためのセマンティックセグメンテーションが近年広く求められており、アルゴリズムの効率、特にリソース制限されたプラットフォームでの応用に大きな課題が提起されている。 現在のセグメンテーションモデルは、大量の高解像度シーンイメージ(「データレベル」)をトレーニングし、評価し、必要なマルチスケールアグリゲーション(「ネットワークレベル」)から生じる高価な計算に苦しむ。 両方の折り畳みでは、しばしば望まれる大きな入力解像度と分割モデルの重い計算負担のため、トレーニングと推論における計算とエネルギーのコストが顕著である。 そこで本稿では,効率的なセグメンテーションモデルトレーニングと推論のためのDAta-Network共同最適化手法であるDANCEを提案する。 軽量ネットワーク設計のみに焦点を当てた既存の効率的なセグメンテーションアプローチとは違って、danceは入力データ操作とネットワークアーキテクチャスリム化の両方を通じて、自動データネットワーク共同最適化を特徴としている。 具体的には、DANCEは、入力イメージを適応的にサンプリング/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対する対応するコントリビューションを制御する。 このようなダウンサンプリング操作は、入力サイズに関するコストを直接削減するだけでなく、入力オブジェクトとコンテキストスケールのダイナミックレンジを縮小するので、ダウンサンプリングされたデータに適合するようにネットワークを適応的にスリムにすることも動機付けます。 広範囲な実験とアブレーション研究(2つのトレーニング条件の下で3つの人気のあるセグメンテーションデータセットを持つ4つのソータセグメンテーションモデル)は、ダンスが効率的なセグメンテーション(訓練コストの削減、より安価な推論、より平均的交点オーバーユニオン(miou))に向けて「全勝」を達成することを証明している。

関連論文リスト

• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• Joint Optimization of Class-Specific Training- and Test-Time Data Augmentation in Segmentation [35.41274775082237]
  本稿では,医用画像セグメンテーションのための有効で汎用的なデータ拡張フレームワークを提案する。 我々は、学習データと検証データの分布を整合させるために、計算効率が高く、データ効率のよい勾配に基づくメタラーニング手法を採用する。 本稿では,DeepMedic と nnU-Net の2つの最先端セグメンテーションモデルを用いた4つの医用画像セグメンテーション課題に対する提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T14:48:45Z)
• Surface EMG-Based Inter-Session/Inter-Subject Gesture Recognition by Leveraging Lightweight All-ConvNet and Transfer Learning [17.535392299244066]
  低解像度の瞬時HD-sEMG画像を用いたジェスチャー認識は、より流動的で自然な筋肉-コンピュータインターフェースを開発するための新たな道を開く。 セッション間とオブジェクト間シナリオ間のデータのばらつきは、大きな課題を示します。 既存のアプローチでは、非常に大きく複雑なConvNetまたは2SRNNベースのドメイン適応手法を使用して、これらのセッション間およびオブジェクト間データのばらつきに起因する分散シフトを近似した。 我々は、軽量なAll-ConvNetとTransfer Learning(TL)を利用した、セッション間およびオブジェクト間ジェスチャー認識の強化のための軽量All-ConvNet+TLモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-13T21:47:55Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)
• Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
  本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。 ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
  論文  参考訳（メタデータ） (2020-03-16T16:54:36Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。