論文の概要: Causal-DFQ: Causality Guided Data-free Network Quantization
- arxiv url: http://arxiv.org/abs/2309.13682v1
- Date: Sun, 24 Sep 2023 16:11:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 18:12:51.650542
- Title: Causal-DFQ: Causality Guided Data-free Network Quantization
- Title（参考訳）: Causal-DFQ:Causality Guided Data-free Network Quantization
- Authors: Yuzhang Shang, Bingxin Xu, Gaowen Liu, Ramana Kompella, Yan Yan
- Abstract要約: 本稿では、データへの依存をなくすために、因果性誘導型データフリーネットワーク量子化手法Causal-DFQを提案する。
我々の研究は、データフリー量子化問題に因果性を導入する最初の試みである。
- 参考スコア（独自算出の注目度）: 13.655584218670905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model quantization, which aims to compress deep neural networks and
accelerate inference speed, has greatly facilitated the development of
cumbersome models on mobile and edge devices. There is a common assumption in
quantization methods from prior works that training data is available. In
practice, however, this assumption cannot always be fulfilled due to reasons of
privacy and security, rendering these methods inapplicable in real-life
situations. Thus, data-free network quantization has recently received
significant attention in neural network compression. Causal reasoning provides
an intuitive way to model causal relationships to eliminate data-driven
correlations, making causality an essential component of analyzing data-free
problems. However, causal formulations of data-free quantization are inadequate
in the literature. To bridge this gap, we construct a causal graph to model the
data generation and discrepancy reduction between the pre-trained and quantized
models. Inspired by the causal understanding, we propose the Causality-guided
Data-free Network Quantization method, Causal-DFQ, to eliminate the reliance on
data via approaching an equilibrium of causality-driven intervened
distributions. Specifically, we design a content-style-decoupled generator,
synthesizing images conditioned on the relevant and irrelevant factors; then we
propose a discrepancy reduction loss to align the intervened distributions of
the pre-trained and quantized models. It is worth noting that our work is the
first attempt towards introducing causality to data-free quantization problem.
Extensive experiments demonstrate the efficacy of Causal-DFQ. The code is
available at https://github.com/42Shawn/Causal-DFQ.
- Abstract（参考訳）: 深層ニューラルネットワークの圧縮と推論速度の高速化を目的としたモデル量子化は,モバイルおよびエッジデバイス上での煩雑なモデルの開発を大いに促進している。
トレーニングデータが利用可能であるという先行研究から、量子化メソッドには共通の仮定がある。
しかし、実際には、プライバシとセキュリティの理由から、この仮定は必ずしも満たされないため、現実の状況では適用できない。
このように、データフリーネットワーク量子化は、最近、ニューラルネットワーク圧縮に大きな注目を集めている。
因果推論は、データ駆動相関を排除するために因果関係をモデル化する直感的な方法を提供する。
しかし、データフリー量子化の因果的定式化は文献では不十分である。
このギャップを埋めるために、事前学習されたモデルと量子化されたモデルの間のデータ生成と差分低減をモデル化する因果グラフを構築する。
因果理解に触発され,因果関係を主体とする干渉分布の平衡に近づくことにより,データへの依存をなくすために,因果関係誘導型データフリーネットワーク量子化手法であるcausal-dfqを提案する。
具体的には、関連要因と無関係要因に条件付き画像を合成するコンテンツスタイルのデカップリングジェネレータを設計し、事前学習および量子化モデルの干渉分布を整合させる離散化損失を提案する。
我々の研究は、データフリー量子化問題に因果性を導入しようとする最初の試みである。
大規模な実験はCausal-DFQの有効性を示す。
コードはhttps://github.com/42shawn/causal-dfqで入手できる。
関連論文リスト
- Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。
分類タスクで訓練された視覚モデルに本手法を適用した。
論文 参考訳（メタデータ） (2023-05-15T18:37:24Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - CUTS: Neural Causal Discovery from Irregular Time-Series Data [27.06531262632836]
時系列データからの因果発見は、機械学習における中心的なタスクである。
本稿では,ニューラルグランガー因果探索アルゴリズムであるCUTSについて述べる。
提案手法は,非理想的な観測を行う実アプリケーションに因果発見を適用するための有望なステップとなる。
論文 参考訳（メタデータ） (2023-02-15T04:16:34Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
本稿では,観測画像データから因果構造を推定する作業について考察する。
Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。
Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
論文 参考訳（メタデータ） (2022-02-21T12:23:01Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-07T10:14:18Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳（メタデータ） (2021-03-29T01:33:34Z) - Efficient Causal Inference from Combined Observational and
Interventional Data through Causal Reductions [68.6505592770171]
因果効果を推定する際の主な課題の1つである。
そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。
パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T14:29:07Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Causal Inference with Deep Causal Graphs [0.0]
パラメトリック因果モデリング技術は、カウンターファクト推定の機能を提供することはめったにない。
Deep Causal Graphsは、因果分布をモデル化するニューラルネットワークに必要な機能の抽象的な仕様である。
複雑な相互作用をモデル化する上で,その表現力を示し,機械学習の説明可能性と公正性を示す。
論文 参考訳（メタデータ） (2020-06-15T13:03:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。