論文の概要: AutoReCon: Neural Architecture Search-based Reconstruction for Data-free Compression

• arxiv url: http://arxiv.org/abs/2105.12151v1
• Date: Tue, 25 May 2021 18:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 08:23:34.001450
• Title: AutoReCon: Neural Architecture Search-based Reconstruction for Data-free Compression
• Title（参考訳）: AutoReCon: データフリー圧縮のためのニューラルアーキテクチャ検索に基づく再構築
• Authors: Baozhou Zhu and Peter Hofstee and Johan Peltenburg and Jinho Lee and Zaid Alars
• Abstract要約: 本研究は,ネットワーク工学を再構築手法の設計手法として検討した最初のものである。 具体的には,ニューラルアーキテクチャ検索に基づく再構成手法であるAutoReConを提案する。
• 参考スコア（独自算出の注目度）: 4.882319198853359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-free compression raises a new challenge because the original training dataset for a pre-trained model to be compressed is not available due to privacy or transmission issues. Thus, a common approach is to compute a reconstructed training dataset before compression. The current reconstruction methods compute the reconstructed training dataset with a generator by exploiting information from the pre-trained model. However, current reconstruction methods focus on extracting more information from the pre-trained model but do not leverage network engineering. This work is the first to consider network engineering as an approach to design the reconstruction method. Specifically, we propose the AutoReCon method, which is a neural architecture search-based reconstruction method. In the proposed AutoReCon method, the generator architecture is designed automatically given the pre-trained model for reconstruction. Experimental results show that using generators discovered by the AutoRecon method always improve the performance of data-free compression.
• Abstract（参考訳）: データフリー圧縮は、プライバシや送信の問題のために圧縮される事前トレーニングモデルのトレーニングデータセットが利用できないため、新しい課題を提起する。 したがって、圧縮の前に再構成されたトレーニングデータセットを計算するのが一般的な方法である。 現在の再構成法は、事前学習したモデルからの情報を活用して、再構成されたトレーニングデータセットをジェネレータで計算する。 しかし,現在の再構成手法では,事前学習したモデルからより多くの情報を抽出することに注力するが,ネットワーク工学を活用しない。 この研究は、ネットワーク工学を再構築手法の設計手法として考える最初のものである。 具体的には,ニューラルアーキテクチャ検索に基づく再構成手法であるAutoReConを提案する。 提案したAutoReCon法では, 事前学習した再構成モデルにより, ジェネレータアーキテクチャを自動設計する。 実験結果から,AutoRecon法で検出したジェネレータを用いることで,データフリー圧縮の性能が常に向上することがわかった。

関連論文リスト

• ZeroShape: Regression-based Zero-shot Shape Reconstruction [56.652766763775226]
  単一画像ゼロショット3次元形状再構成の問題点について検討する。 最近の研究は、3Dアセットの生成的モデリングを通してゼロショット形状復元を学習している。 我々はZeroShapeが最先端の手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-12-21T01:56:34Z)
• ReconU-Net: a direct PET image reconstruction using U-Net architecture with back projection-induced skip connection [1.7404865362620803]
  本研究では, 深層学習に基づく直接ポジトロン放射トモグラフィ(PET)画像再構成のためのバックプロジェクション駆動型U-Net型アーキテクチャReconU-Netを提案する。 提案したReconU-Netアーキテクチャはバックプロジェクション操作の物理モデルをスキップ接続に一意に統合する。 提案したReconU-Net法は,他の深層学習に基づく直接再構成法と比較して,より正確な構造で再構成画像を生成する。
  論文  参考訳（メタデータ） (2023-12-05T04:51:42Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)
• Uncertainty-Aware Null Space Networks for Data-Consistent Image Reconstruction [0.0]
  近年の深層学習の進歩をもとに,最先端の再構築手法が開発されている。 医用画像などの安全クリティカルな領域で使用するためには, ネットワーク再構築は, 利用者に再構成画像を提供するだけでなく, ある程度の信頼を得る必要がある。 この研究は、入力依存のスケールマップを推定することによって、データ依存の不確実性をモデル化する逆問題に対する最初のアプローチである。
  論文  参考訳（メタデータ） (2023-04-14T06:58:44Z)
• Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation [110.61853418925219]
  我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。 理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。 これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
  論文  参考訳（メタデータ） (2023-02-02T21:41:59Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Self-Supervised Learning for MRI Reconstruction with a Parallel Network Training Framework [24.46388892324129]
  提案手法は柔軟であり,既存のディープラーニング手法にも適用可能である。 本手法の有効性を、オープン脳MRIデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2021-09-26T06:09:56Z)
• Deep Neural Networks are Surprisingly Reversible: A Baseline for Zero-Shot Inversion [90.65667807498086]
  本稿では、内部表現のみを与えられたトレーニングモデルへの入力を復元するゼロショット直接モデル逆変換フレームワークを提案する。 ImageNetの最新の分類モデルでは、20層以上の表現から元の224x224px画像を近似的に復元できることを実証的に示す。
  論文  参考訳（メタデータ） (2021-07-13T18:01:43Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。