Fugu-MT 論文翻訳(概要): Physics-Inspired Binary Neural Networks: Interpretable Compression with Theoretical Guarantees

論文の概要: Physics-Inspired Binary Neural Networks: Interpretable Compression with Theoretical Guarantees

arxiv url: http://arxiv.org/abs/2502.01908v3
Date: Sat, 11 Oct 2025 02:05:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 15:48:08.133378
Title: Physics-Inspired Binary Neural Networks: Interpretable Compression with Theoretical Guarantees
Title（参考訳）: 物理にインスパイアされた二元ニューラルネットワーク:理論的保証による解釈可能な圧縮
Authors: Arian Eamaz, Farhang Yeganegi, Mojtaba Soltanalian,
Abstract要約: 多くの逆問題では、自然に物理と空間を符号化するアルゴリズムアンロールネットワークが認められている。本研究では,データ駆動型1ビット量子化と単一グローバルスケールを組み合わせたPhysical-Inspired Binary Neural Network (PIBiNN)を提案する。この設計は、構造零点を利用することにより、重量あたり1ビット未満の圧縮率をもたらす。
参考スコア（独自算出の注目度）: 20.854288216118423
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Why rely on dense neural networks and then blindly sparsify them when prior knowledge about the problem structure is already available? Many inverse problems admit algorithm-unrolled networks that naturally encode physics and sparsity. In this work, we propose a Physics-Inspired Binary Neural Network (PIBiNN) that combines two key components: (i) data-driven one-bit quantization with a single global scale, and (ii) problem-driven sparsity predefined by physics and requiring no updates during training. This design yields compression rates below one bit per weight by exploiting structural zeros, while preserving essential operator geometry. Unlike ternary or pruning-based schemes, our approach avoids ad-hoc sparsification, reduces metadata overhead, and aligns directly with the underlying task. Experiments suggest that PIBiNN achieves advantages in both memory efficiency and generalization compared to competitive baselines such as ternary and channel-wise quantization.
Abstract（参考訳）: なぜ高密度ニューラルネットワークを頼りにし、問題構造に関する事前の知識がすでに利用可能になったら、それらを盲目的に分散させるのか? 多くの逆問題では、自然に物理と空間を符号化するアルゴリズムアンロールネットワークが認められている。本研究では,2つの重要な要素を組み合わせた物理インスパイアされた2成分ニューラルネットワーク(PIBiNN)を提案する。 (i)単一グローバルスケールのデータ駆動1ビット量子化 (II) 物理によって予め定義された問題駆動の空間性、およびトレーニング中に更新を必要としないこと。この設計は、基本作用素幾何学を保ちながら構造零点を利用することにより、重量あたりの圧縮率を1ビット以下に抑える。三進法やプルーニング方式とは異なり、我々の手法はアドホックなスペーシングを回避し、メタデータのオーバーヘッドを減らし、基礎となるタスクと直接整合する。実験の結果,PIBiNNは3次量子化やチャネルワイド量子化といった競合するベースラインと比較して,メモリ効率と一般化の両面で優位性が示唆された。

関連論文リスト

Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
論文参考訳（メタデータ） (2025-05-24T15:52:49Z)
MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
論文参考訳（メタデータ） (2024-12-10T22:44:54Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文参考訳（メタデータ） (2023-06-13T08:57:54Z)
Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
論文参考訳（メタデータ） (2023-05-29T21:32:15Z)
On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-13T02:14:42Z)
Algorithm Unrolling for Massive Access via Deep Neural Network with Theoretical Guarantee [30.86806523281873]
大規模アクセスはIoT(Internet of Things)ネットワークにおける重要な設計課題である。我々は、マルチアンテナベースステーション(BS)と多数の単一アンテナIoTデバイスを備えたIoTネットワークの無許可アップリンク伝送を検討する。本稿では,低計算複雑性と高ロバスト性を実現するために,ディープニューラルネットワークに基づく新しいアルゴリズムアンローリングフレームワークを提案する。
論文参考訳（メタデータ） (2021-06-19T05:23:05Z)
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文参考訳（メタデータ） (2021-06-15T17:22:59Z)
EQ-Net: A Unified Deep Learning Framework for Log-Likelihood Ratio Estimation and Quantization [25.484585922608193]
EQ-Netは,データ駆動手法を用いてログ類似度(LLR)推定と量子化の両課題を解決する,最初の包括的フレームワークである。広範な実験評価を行い,両タスクにおいて単一アーキテクチャが最先端の成果を達成できることを実証する。
論文参考訳（メタデータ） (2020-12-23T18:11:30Z)
Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文参考訳（メタデータ） (2020-11-29T03:53:49Z)
Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文参考訳（メタデータ） (2020-10-09T03:52:16Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
通信効率のよい分散最適化の問題を考える。特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
論文参考訳（メタデータ） (2020-03-10T13:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。