論文の概要: Kilobyte Models: Neural Networks as a Seed and a Quantized Latent
- arxiv url: http://arxiv.org/abs/2608.00860v1
- Date: Sat, 01 Aug 2026 20:42:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.964885
- Title: Kilobyte Models: Neural Networks as a Seed and a Quantized Latent
- Title（参考訳）: Kilobyte Models: 種子と量子化潜水剤としてのニューラルネットワーク
- Abstract要約: デプロイ可能なアーティファクトが重みではなく、それらを再生するための短いレシピである、極端なモデル圧縮の形式について検討する。
モデルは、パラメータカウントではなく、潜在次元とビット幅によってサイズが設定される量子化潜在子と共にシードとなる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The cost of storing and transmitting a trained neural network scales with its parameter count, a bottleneck for over-the-air updates, on-device libraries, and other bandwidth-bound deployments. We study an extreme form of model compression in which the deployable artifact is not the weights but a short recipe for regenerating them. Building on Mapping Networks, which express a network's weights as a nonlinear function of a compact trainable latent and a fixed random basis, we observe that only the latent need be stored, because the basis and initialization center are reproducible from an integer seed. A model becomes a seed together with a quantized latent, whose size is set by the latent dimension and bit width rather than the parameter count. We formalize this artifact and introduce a seeded block-wise basis that scales to networks whose projection cannot be held in memory. In our experiments, a mapped model is as accurate as the same network quantized aggressively to a few bits per weight, while taking far fewer bytes to store. Reaching the most aggressive bit widths depends on fine-tuning the latent with quantization in the loop. The results do not depend on the particular random basis, and a structured basis lets the weights be regenerated almost for free even for large networks.
- Abstract（参考訳）: トレーニングされたニューラルネットワークの保存と送信のコストは、パラメータカウント、オーバー・ザ・エアの更新のボトルネック、デバイス上のライブラリ、その他の帯域幅によるデプロイメントとともにスケールする。
デプロイ可能なアーティファクトが重みではなく、それらを再生するための短いレシピである、極端なモデル圧縮の形式について検討する。
ネットワークの重みを、コンパクトなトレーニング可能な潜水器の非線形関数と固定ランダムな基底として表現するマッピングネットワーク上に構築すると、基底と初期化中心が整数シードから再現可能であるため、潜水器のみを格納する必要があることが分かる。
モデルは、パラメータカウントではなく、潜在次元とビット幅によってサイズが設定される量子化潜在子と共にシードとなる。
我々は、このアーティファクトを形式化し、プロジェクションをメモリに保持できないネットワークにスケールする、シードブロックワイズベースを導入する。
我々の実験では、マップされたモデルは、同じネットワークを数ビット/重さで積極的に量子化し、保存するバイトをはるかに少なくする。
最も攻撃的なビット幅の取得は、ループ内の量子化を伴う遅延を微調整することに依存する。
結果は特定のランダムベースに依存しず、構造化されたベースにより、大きなネットワークでもほぼ自由に重量を再生することができる。
関連論文リスト
- Neural Metamorphosis [72.88137795439407]
本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。
NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。
75%の圧縮速度でもフルサイズの性能を維持する。
論文 参考訳（メタデータ） (2024-10-10T14:49:58Z) - RTF-Q: Efficient Unsupervised Domain Adaptation with Retraining-free Quantization [14.447148108341688]
ReTraining-Free Quantization (RTF-Q) を用いた効率的な非教師なし領域適応法を提案する。
提案手法では,計算コストの異なる低精度量子化アーキテクチャを用い,動的予算を持つデバイスに適用する。
提案するネットワークは,3つのベンチマークにおける最先端手法との競合精度を実証する。
論文 参考訳（メタデータ） (2024-08-11T11:53:29Z) - Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - Vertical Layering of Quantized Neural Networks for Heterogeneous
Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。
理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文 参考訳（メタデータ） (2022-12-10T15:57:38Z) - Weight Fixing Networks [0.0]
ネットワーク内の一意なパラメータのエントロピーと数を最小化するために、ネットワーク全体の量子化を検討する。
そこで本研究では,4つのモデル結果の目標を実現するために,WFN(Weight Fixing Networks)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-10-24T19:18:02Z) - Parameter-Efficient Masking Networks [61.43995077575439]
先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。
本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。
これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
論文 参考訳（メタデータ） (2022-10-13T03:39:03Z) - Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。
問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。
提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
論文 参考訳（メタデータ） (2022-05-13T00:28:35Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Point-Cloud Deep Learning of Porous Media for Permeability Prediction [0.0]
デジタル画像から多孔質媒体の透過性を予測するための新しいディープラーニングフレームワークを提案する。
我々は、固体行列と細孔空間の境界を点雲としてモデル化し、それらをポイントネットアーキテクチャに基づくニューラルネットワークへの入力として供給する。
論文 参考訳（メタデータ） (2021-07-18T22:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。