論文の概要: Gibbs randomness-compression proposition: An efficient deep learning

• arxiv url: http://arxiv.org/abs/2505.23869v1
• Date: Thu, 29 May 2025 10:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.587836
• Title: Gibbs randomness-compression proposition: An efficient deep learning
• Title（参考訳）: ギブズランダム性圧縮の提案:効率的な深層学習
• Authors: M. Süzen,
• Abstract要約: 命題は、圧縮プロセスに関連する測定ベクトルの集合に対してギブスエントロピーを介して提示されるランダム性と圧縮を結びつける。 この提案は、新たに提案されたDual Tomographic Compression (DTC) compress-train frameworkで観測された振る舞いに由来する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A proposition that connects randomness and compression put forward via Gibbs entropy over set of measurement vectors associated with a compression process. The proposition states that a lossy compression process is equivalent to {\it directed randomness} that preserves information content. The proposition originated from the observed behaviour in newly proposed {\it Dual Tomographic Compression} (DTC) compress-train framework. This is akin to tomographic reconstruction of layer weight matrices via building compressed sensed projections, so called {\it weight rays}. This tomographic approach is applied to previous and next layers in a dual fashion, that triggers neuronal-level pruning. This novel model compress-train scheme appear in iterative fashion and act as smart neural architecture search, Experiments demonstrated utility of this dual-tomography producing state-of-the-art performance with efficient compression during training, accelerating and supporting lottery ticket hypothesis. However, random compress-train iterations having similar performance demonstrated the connection between randomness and compression from statistical physics perspective, we formulated so called {\it Gibbs randomness-compression proposition}, signifying randomness-compression relationship via Gibbs entropy. Practically, DTC framework provides a promising approach for massively energy and resource efficient deep learning training approach.
• Abstract（参考訳）: 圧縮過程に関連する測定ベクトルの集合に対してギブスエントロピーを通したランダム性と圧縮を接続する命題。 この命題は、損失のある圧縮プロセスは情報内容を保存する「有向ランダムネス」と同値であると述べている。 この提案は、新たに提案された2次元トモグラフィ圧縮(DTC)圧縮トレインフレームワークで観測された振る舞いに由来する。 これは、層重み行列のトモグラフィー再構成に似ており、圧縮された感応射影を造ることにより、いわゆる {\it weight ray} と呼ばれる。 このトモグラフィー手法は、前層と次の層に二重の方法で適用され、ニューロンレベルのプルーニングを引き起こす。 このモデル圧縮訓練スキームは反復的に現れ、スマートニューラルネットワークサーチとして機能する。実験では、このデュアルトモグラフィーを利用して、トレーニング中に効率的な圧縮を行い、抽選チケット仮説を加速し、支持する。 しかし, 類似性能を有するランダム圧縮-トレイン反復は, 統計物理学的観点からランダムネスと圧縮の関係を実証し, いわゆる「it Gibbsランダムネス-圧縮命題」を定式化し, ギブスエントロピーによるランダムネス-圧縮関係を示す。 実際、DTCフレームワークは、膨大なエネルギーとリソース効率の高いディープラーニングトレーニングアプローチに有望なアプローチを提供する。

関連論文リスト

• Hyper-Compression: Model Compression via Hyperfunction [20.47369296713829]
  本稿では,モデル圧縮をハイパーファンクションによるパラメータ表現問題に変換する,いわゆるハイパー圧縮を提案する。 これは、既存のプルーニング、量子化、蒸留、分解とは大きく異なるモデル圧縮のための新しいメカニズムを示唆している。 textbfPreferable compression ratio; 2) textbfNo post-hoc retraining; 3) textbfAffordable inference time; and 4) textbfShort compression time。
  論文  参考訳（メタデータ） (2024-09-01T02:57:41Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD [31.61477313262589]
  勾配降下(SGD)を訓練した一層ニューラルネットワークの検討 加法的な重み付きノイズを各繰り返しに注入すると、任意の圧縮率に対して、アルゴリズムの出力が高い確率で圧縮可能であるように過度なパラメータ化のレベルが存在することを示す。
  論文  参考訳（メタデータ） (2023-06-13T20:37:02Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Post-Training Quantization for Cross-Platform Learned Image Compression [15.67527732099067]
  学習した画像圧縮が従来の画像符号化技術より優れていることが確認されている。 考慮すべき最も重要な問題の1つは、非決定論的計算である。 本稿では,学習後量子化の導入によってこの問題を解決することを提案する。
  論文  参考訳（メタデータ） (2022-02-15T15:41:12Z)
• On Effects of Compression with Hyperdimensional Computing in Distributed Randomized Neural Networks [6.25118865553438]
  ランダム化ニューラルネットワークと超次元計算に基づく分散分類モデルを提案する。 本研究では,従来の圧縮アルゴリズムや次元減少,量子化技術と比較し,より柔軟な圧縮手法を提案する。
  論文  参考訳（メタデータ） (2021-06-17T22:02:40Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。