論文の概要: A Data and Compute Efficient Design for Limited-Resources Deep Learning

• arxiv url: http://arxiv.org/abs/2004.09691v2
• Date: Wed, 8 Jul 2020 11:29:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 06:20:07.789799
• Title: A Data and Compute Efficient Design for Limited-Resources Deep Learning
• Title（参考訳）: 限られた資源深層学習のためのデータと計算効率
• Authors: Mirgahney Mohamed, Gabriele Cesa, Taco S. Cohen and Max Welling
• Abstract要約: 同変ニューラルネットワークは 深層学習コミュニティへの関心を高めています 医療分野では、データの対称性を効果的に活用して、より正確で堅牢なモデルの構築に成功している。 ディープ・ラーニング・ソリューションのモバイル・オン・デバイス実装は医療応用のために開発されている。 しかし、同変モデルは大規模で計算コストのかかるアーキテクチャを用いて一般的に実装されており、モバイルデバイス上では動作しない。 本研究では、MobileNetV2の同変バージョンを設計、テストし、さらにモデル量子化により最適化し、より効率的な推論を可能にする。
• 参考スコア（独自算出の注目度）: 68.55415606184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Thanks to their improved data efficiency, equivariant neural networks have gained increased interest in the deep learning community. They have been successfully applied in the medical domain where symmetries in the data can be effectively exploited to build more accurate and robust models. To be able to reach a much larger body of patients, mobile, on-device implementations of deep learning solutions have been developed for medical applications. However, equivariant models are commonly implemented using large and computationally expensive architectures, not suitable to run on mobile devices. In this work, we design and test an equivariant version of MobileNetV2 and further optimize it with model quantization to enable more efficient inference. We achieve close-to state of the art performance on the Patch Camelyon (PCam) medical dataset while being more computationally efficient.
• Abstract（参考訳）: データ効率の改善により、同種のニューラルネットワークはディープラーニングコミュニティへの関心を高めている。 医療分野では、データの対称性を効果的に活用して、より正確で堅牢なモデルの構築に成功している。 より広い範囲の患者にリーチするために、モバイルでデバイス上での深層学習ソリューションの実装が医療応用のために開発されている。 しかし、同変モデルは大規模で計算コストのかかるアーキテクチャを使って一般的に実装されている。 本研究では,mobilenetv2の等価バージョンを設計,テストし,モデルの量子化によりさらに最適化することで,より効率的な推論を実現する。 我々は,patch camelyon (pcam) の医療データセット上で,より計算効率の高い技術性能を実現する。

関連論文リスト

• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• E2ENet: Dynamic Sparse Feature Fusion for Accurate and Efficient 3D Medical Image Segmentation [36.367368163120794]
  E2ENet(Efficient to Efficient Network)と呼ばれる3次元医用画像分割モデルを提案する。 パラメトリックと計算効率の2つの設計が組み込まれている。 さまざまなリソース制約に対して、正確性と効率性のトレードオフを一貫して達成します。
  論文  参考訳（メタデータ） (2023-12-07T22:13:37Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• FastSal: a Computationally Efficient Network for Visual Saliency Prediction [7.742198347952173]
  我々は、MobileNetV2が視覚的サリエンシモデルに優れたバックボーンを作り、複雑なデコーダを使わずに有効であることを示す。 また,DeepGaze IIのような計算コストの高いモデルからの知識伝達は,ラベルのないデータセットを擬似ラベリングすることで実現できることを示す。
  論文  参考訳（メタデータ） (2020-08-25T16:32:33Z)
• Real-time Human Activity Recognition Using Conditionally Parametrized Convolutions on Mobile and Wearable Devices [14.260179062012512]
  ディープ畳み込みニューラルネットワーク(CNN)は、さまざまなHARデータセットで最先端のパフォーマンスを達成した。 深い傾きの操作の多さは計算コストを増大させ,モバイルおよびウェアラブルセンサを用いたリアルタイムHARには適さない。 本研究では,モバイルおよびウェアラブルデバイス上でのリアルタイムHARのための条件パラメタライズド・コンボリューションを用いた効率的なCNNを提案する。
  論文  参考訳（メタデータ） (2020-06-05T07:06:42Z)
• Efficient Training of Deep Convolutional Neural Networks by Augmentation in Embedding Space [24.847651341371684]
  データが少ないアプリケーションでは、ディープラーニングモデルの一般化を改善するために、転送学習とデータ拡張技術が一般的に使用される。 生入力空間におけるデータ拡張を伴う転送モデルを微調整すると、拡張入力毎に全ネットワークを実行するのに高い計算コストがかかる。 本稿では, 生の入力空間における拡張を, 埋め込み空間において純粋に作用する近似的に置き換える手法を提案する。
  論文  参考訳（メタデータ） (2020-02-12T03:26:33Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。