論文の概要: Is In-Domain Data Really Needed? A Pilot Study on Cross-Domain
Calibration for Network Quantization
- arxiv url: http://arxiv.org/abs/2105.07331v1
- Date: Sun, 16 May 2021 02:07:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-19 07:45:42.381451
- Title: Is In-Domain Data Really Needed? A Pilot Study on Cross-Domain
Calibration for Network Quantization
- Title（参考訳）: ドメイン内データは本当に必要か?
ネットワーク量子化のためのクロスドメイン校正の試み
- Authors: Haichao Yu, Linjie Yang, Humphrey Shi
- Abstract要約: トレーニング後の量子化法は、キャリブレーションデータを用いて、ネットワークパラメータとアクティベーションの量子化範囲を計算する。
ドメイン外データを使って、トレーニングされたネットワークを元のデータセットを知らずに校正できますか?
我々は、自然画像の領域を超えて、X線画像、衛星画像、超音波画像など、大きく異なる領域を含む。
- 参考スコア（独自算出の注目度）: 13.102971166799625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training quantization methods use a set of calibration data to compute
quantization ranges for network parameters and activations. The calibration
data usually comes from the training dataset which could be inaccessible due to
sensitivity of the data. In this work, we want to study such a problem: can we
use out-of-domain data to calibrate the trained networks without knowledge of
the original dataset? Specifically, we go beyond the domain of natural images
to include drastically different domains such as X-ray images, satellite images
and ultrasound images. We find cross-domain calibration leads to surprisingly
stable performance of quantized models on 10 tasks in different image domains
with 13 different calibration datasets. We also find that the performance of
quantized models is correlated with the similarity of the Gram matrices between
the source and calibration domains, which can be used as a criterion to choose
calibration set for better performance. We believe our research opens the door
to borrow cross-domain knowledge for network quantization and compression.
- Abstract（参考訳）: トレーニング後の量子化法は、キャリブレーションデータを用いて、ネットワークパラメータとアクティベーションの量子化範囲を計算する。
キャリブレーションデータは通常、データの感度のためにアクセスできないトレーニングデータセットから取得される。
ドメイン外のデータを使ってトレーニングされたネットワークを、元のデータセットを知らずに校正できるだろうか?
具体的には、自然画像の領域を超えて、X線画像、衛星画像、超音波画像など、大きく異なる領域を含む。
クロスドメインキャリブレーションは、13の異なるキャリブレーションデータセットを持つ異なる画像領域における10タスクの量子化モデルの驚くほど安定した性能をもたらす。
また、量子化モデルの性能は、ソースとキャリブレーション領域間のグラマー行列の類似性と相関しており、キャリブレーションセットを選択する基準として使用することができる。
我々の研究は、ネットワーク量子化と圧縮のためにクロスドメインの知識を借りる扉を開くと信じています。
関連論文リスト
- Infrared Domain Adaptation with Zero-Shot Quantization [3.6064695344878093]
熱画像で再現された物体検出モデルにゼロショット量子化を適用する方法を示す。
ゼロショット量子化とポストトレーニング量子化を比較する。
我々のゼロショット量子化フレームワークは、トレーニングデータの欠如に有効であり、赤外線領域に適していることを示す。
論文 参考訳（メタデータ） (2024-08-25T19:47:40Z) - MoCo-Transfer: Investigating out-of-distribution contrastive learning
for limited-data domains [52.612507614610244]
我々は、モーメントコントラスト(MoCo)プレトレーニングからデータ制限のある設定への自己教師付きコントラスト表現の転送の利点を分析する。
ラベル付きおよびラベルなしデータの量によっては、より大きなアウト・オブ・ディストリビューションデータセットでの対照的な事前トレーニングは、ドメイン内でのMoCoの事前トレーニングよりも、ほぼ同等か、あるいはそれ以上のパフォーマンスが期待できる。
論文 参考訳（メタデータ） (2023-11-15T21:56:47Z) - A Benchmark Study on Calibration [20.87493013833571]
ディープニューラルネットワークは、さまざまな機械学習タスクでますます活用されている。
多くの研究は、特定の損失関数、データ前処理、トレーニングフレームワークを使用することでキャリブレーション性能を向上させるために努力してきた。
本研究では,ニューラルアーキテクチャ探索(NAS)探索空間を活用し,徹底的なキャリブレーション特性探索のための網羅的なモデルアーキテクチャ空間を提供する。
このデータセットは、広く使われているNATS-Bench検索空間内の117,702のユニークなニューラルネットワークに対して、90のビンベースと12のキャリブレーション測定値を評価する。
論文 参考訳（メタデータ） (2023-08-23T00:10:29Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - DOMINO: Domain-aware Model Calibration in Medical Image Segmentation [51.346121016559024]
現代のディープニューラルネットワークはキャリブレーションが不十分で、信頼性と信頼性を損なう。
本稿では,クラスラベル間のセマンティック・コンフューザビリティと階層的類似性を利用したドメイン認識モデルキャリブレーション手法であるDOMINOを提案する。
その結果,DOMINOを校正したディープニューラルネットワークは,頭部画像分割における非校正モデルや最先端形態計測法よりも優れていた。
論文 参考訳（メタデータ） (2022-09-13T15:31:52Z) - Few-shot Adaptive Object Detection with Cross-Domain CutMix [5.432990262699911]
オブジェクト検出では、データ量とコストはトレードオフであり、特定の領域における大量のデータ収集は労働集約的である。
本稿では,大規模な領域ギャップ問題を解決するデータ合成手法を提案する。
提案手法は,従来の手法とは全く異なる領域問題設定で高い精度を実現する。
論文 参考訳（メタデータ） (2022-08-31T01:26:10Z) - Ranking Distance Calibration for Cross-Domain Few-Shot Learning [91.22458739205766]
数ショット学習の最近の進歩は、より現実的なクロスドメイン設定を促進する。
ドメインギャップとソースとターゲットデータセット間のラベル空間の相違により、共有される知識は極めて限られている。
我々は,タスク内の相互k-アネレスト近傍を発見することで,目標距離行列の校正を行う。
論文 参考訳（メタデータ） (2021-12-01T03:36:58Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z) - Intra Order-preserving Functions for Calibration of Multi-Class Neural
Networks [54.23874144090228]
一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。
以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。
本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-15T12:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。