論文の概要: A Principled Hierarchical Deep Learning Approach to Joint Image Compression and Classification

• arxiv url: http://arxiv.org/abs/2310.19675v1
• Date: Mon, 30 Oct 2023 15:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:15:55.198889
• Title: A Principled Hierarchical Deep Learning Approach to Joint Image Compression and Classification
• Title（参考訳）: 階層型階層型深層学習による共同画像圧縮と分類
• Authors: Siyu Qi, Achintha Wijesinghe, Lahiru D. Chamain, Zhi Ding
• Abstract要約: 本研究は,エンコーダを誘導し,コンパクトで差別的で,一般的な拡張/変換に適した特徴を抽出する3段階共同学習戦略を提案する。 CIFAR-10では最大1.5%,CIFAR-100では3%,従来のE2Eクロスエントロピートレーニングでは3%の精度向上が得られた。
• 参考スコア（独自算出の注目度）: 27.934109301041595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Among applications of deep learning (DL) involving low cost sensors, remote image classification involves a physical channel that separates edge sensors and cloud classifiers. Traditional DL models must be divided between an encoder for the sensor and the decoder + classifier at the edge server. An important challenge is to effectively train such distributed models when the connecting channels have limited rate/capacity. Our goal is to optimize DL models such that the encoder latent requires low channel bandwidth while still delivers feature information for high classification accuracy. This work proposes a three-step joint learning strategy to guide encoders to extract features that are compact, discriminative, and amenable to common augmentations/transformations. We optimize latent dimension through an initial screening phase before end-to-end (E2E) training. To obtain an adjustable bit rate via a single pre-deployed encoder, we apply entropy-based quantization and/or manual truncation on the latent representations. Tests show that our proposed method achieves accuracy improvement of up to 1.5% on CIFAR-10 and 3% on CIFAR-100 over conventional E2E cross-entropy training.
• Abstract（参考訳）: 低コストセンサーを含むディープラーニング(DL)の応用の中で、リモート画像分類はエッジセンサーとクラウド分類器を分離する物理チャネルを含む。 従来のDLモデルは、センサーのエンコーダとエッジサーバのデコーダ+分類器に分割する必要がある。 重要な課題は、接続チャネルが制限されたレート/容量を持つ場合、そのような分散モデルを効果的に訓練することである。 我々のゴールは、エンコーダのラテントが低チャネル帯域を必要とするようにDLモデルを最適化し、高い分類精度で特徴情報を提供することである。 本研究は,エンコーダを誘導し,コンパクトで差別的で,一般的な拡張/変換に適した特徴を抽出する3段階共同学習戦略を提案する。 エンドツーエンド(E2E)トレーニングの前に,初期スクリーニングフェーズを通じて潜時次元を最適化する。 単一プリデプロイエンコーダによる調整可能なビットレートを得るために、エントロピーに基づく量子化および/または手動トランケーションを潜在表現に適用する。 CIFAR-10では最大1.5%,CIFAR-100では3%,従来のE2Eクロスエントロピートレーニングでは3%の精度向上が得られた。

関連論文リスト

• 4D ASR: Joint Beam Search Integrating CTC, Attention, Transducer, and Mask Predict Decoders [53.297697898510194]
  我々は、4つのデコーダが同一のエンコーダを共有する共同モデリング手法を提案し、これを4Dモデリングと呼ぶ。 4Dモデルを効率的に訓練するために,マルチタスク学習を安定化させる2段階のトレーニング戦略を導入する。 さらに,3つのデコーダを組み合わせることで,新しい1パスビーム探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-05T05:18:20Z)
• Efficient Transformer Encoders for Mask2Former-style models [57.54752243522298]
  ECO-M2Fは、入力画像上に条件付きエンコーダ内の隠蔽層数を自己選択する戦略である。 提案手法は、性能を維持しながら、予測エンコーダの計算コストを削減する。 アーキテクチャ構成では柔軟性があり、セグメンテーションタスクを超えてオブジェクト検出まで拡張できる。
  論文  参考訳（メタデータ） (2024-04-23T17:26:34Z)
• Accelerating Learnt Video Codecs with Gradient Decay and Layer-wise Distillation [17.980800481385195]
  本稿では, 勾配減衰と適応層ワイド蒸留に基づく新しいモデル非依存プルーニング手法を提案する。 その結果,BD-PSNRでは最大65%のMACと2倍のスピードアップ,0.3dB未満のBD-PSNRが得られた。
  論文  参考訳（メタデータ） (2023-12-05T09:26:09Z)
• ADS_UNet: A Nested UNet for Histopathology Image Segmentation [1.213915839836187]
  我々は,浅層層に資源効率の高い深層監視を組み込んだ段階的付加的学習アルゴリズムであるADS UNetを提案する。 ADS_UNetは、CRAGおよびBCSSデータセット上で、最先端のTransformerベースのモデルを1.08および0.6ポイント上回る性能を示す。
  論文  参考訳（メタデータ） (2023-04-10T13:08:48Z)
• Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.194184241363175]
  本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。 DDAEはすでに、補助エンコーダを使わずに、中間層内で線形分離可能な表現を強く学習している。 CIFAR-10 と Tiny-ImageNet の線形評価精度は95.9% と 50.0% である。
  論文  参考訳（メタデータ） (2023-03-17T04:20:47Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Lightweight Compression of Intermediate Neural Network Features for Collaborative Intelligence [32.03465747357384]
  協調インテリジェンスアプリケーションでは、ディープニューラルネットワーク(DNN)の一部が携帯電話やエッジデバイスなどの軽量デバイスにデプロイされます。 本稿では,分割DNNの中間層によって出力される特徴を量子化し圧縮する,新しい軽量圧縮技術を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:10:12Z)
• Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling [6.234581622120001]
  本稿では,インテント検出とスロットフィリングのための構文知識を符号化したトランスフォーマーエンコーダアーキテクチャを提案する。 シンタクティックな知識をトランスフォーマーエンコーダにエンコードし、マルチタスク学習を通じて各トークンの構文的パース祖先と部分音声を予測する。
  論文  参考訳（メタデータ） (2020-12-21T21:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。