論文の概要: Robust Model Compression Using Deep Hypotheses

• arxiv url: http://arxiv.org/abs/2103.07668v1
• Date: Sat, 13 Mar 2021 09:44:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-18 01:48:27.719365
• Title: Robust Model Compression Using Deep Hypotheses
• Title（参考訳）: 深層仮説を用いたロバストモデル圧縮
• Authors: Omri Armstrong, Ran Gilad-Bachrach
• Abstract要約: 本稿では,モデル型に依存しない堅牢なモデル圧縮方式を提案する。 それはさまざまなタイプの小さいモデルにアンサンブル、ニューラルネットワークおよび他のタイプのモデルを圧縮できます。
• 参考スコア（独自算出の注目度）: 3.6169485831696355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning models should ideally be compact and robust. Compactness provides efficiency and comprehensibility whereas robustness provides resilience. Both topics have been studied in recent years but in isolation. Here we present a robust model compression scheme which is independent of model types: it can compress ensembles, neural networks and other types of models into diverse types of small models. The main building block is the notion of depth derived from robust statistics. Originally, depth was introduced as a measure of the centrality of a point in a sample such that the median is the deepest point. This concept was extended to classification functions which makes it possible to define the depth of a hypothesis and the median hypothesis. Algorithms have been suggested to approximate the median but they have been limited to binary classification. In this study, we present a new algorithm, the Multiclass Empirical Median Optimization (MEMO) algorithm that finds a deep hypothesis in multi-class tasks, and prove its correctness. This leads to our Compact Robust Estimated Median Belief Optimization (CREMBO) algorithm for robust model compression. We demonstrate the success of this algorithm empirically by compressing neural networks and random forests into small decision trees, which are interpretable models, and show that they are more accurate and robust than other comparable methods. In addition, our empirical study shows that our method outperforms Knowledge Distillation on DNN to DNN compression.
• Abstract（参考訳）: 機械学習モデルは理想的にはコンパクトで堅牢であるべきです。 コンパクト性は効率性と理解性を提供し、堅牢性はレジリエンスを提供する。 どちらの話題も近年研究されているが、孤立している。 ここでは,モデルタイプに依存しないロバストなモデル圧縮スキームを提案する。アンサンブルやニューラルネットワーク,その他のモデルを,さまざまな種類の小型モデルに圧縮することができる。 主要なビルディングブロックは、ロバスト統計から導かれる深さの概念である。 もともとの深さは、中央値が最も深い点であるようなサンプル内の点の中央値の尺度として導入された。 この概念は、仮説の深さと中央値仮説を定義することができる分類関数にまで拡張された。 アルゴリズムは中央値に近似するよう提案されているが、バイナリ分類に制限されている。 本研究では,マルチクラスタスクにおける深い仮説を発見し,その正当性を証明した新しいアルゴリズム,MEMOアルゴリズムを提案する。 これにより、堅牢なモデル圧縮のためのコンパクトロバスト推定メディア信念最適化(CREMBO)アルゴリズムが実現される。 ニューラルネットワークとランダムフォレストを、解釈可能なモデルである小さな決定木に圧縮することで、このアルゴリズムの成功を実証し、他の同等の手法よりも正確かつ堅牢であることを示す。 さらに,本手法がDNNからDNN圧縮における知識蒸留よりも優れていることを示す実験的検討を行った。

関連論文リスト

• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Efficient Compression of Overparameterized Deep Models through Low-Dimensional Learning Dynamics [10.673414267895355]
  本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。 本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
  論文  参考訳（メタデータ） (2023-11-08T23:57:03Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• Optimizing Binary Decision Diagrams with MaxSAT for classification [3.2894524838755608]
  説明可能な人工知能への関心の高まりは、解釈可能な機械学習(ML)モデルの必要性を動機付けている。 近年、従来の手法の弱点を克服するために、そのようなモデルを計算するためのいくつかの正確な方法が提案されている。 本稿ではまず,最適なバイナリ決定図(BDD)を学習するためのSATモデルを提案する。 次に、符号化をMaxSATモデルに上げ、限られた深さで最適なBDDを学習します。 最後に、MaxSATモデルを介して見つけたBDDの互換性のあるサブツリーをマージする手法を導入することにより、フラグメンテーションの問題に取り組む。
  論文  参考訳（メタデータ） (2022-03-21T23:17:37Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
  本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。 圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-23T03:23:47Z)
• Towards Deep Learning Models Resistant to Large Perturbations [0.0]
  敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。 とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
  論文  参考訳（メタデータ） (2020-03-30T12:03:09Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。