論文の概要: Entropy-Guided Tensor Compression for Multimodal Federated Learning on Edge Devices

• arxiv url: http://arxiv.org/abs/2607.06651v1
• Date: Tue, 07 Jul 2026 17:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.16898
• Title: Entropy-Guided Tensor Compression for Multimodal Federated Learning on Edge Devices
• Title（参考訳）: エッジデバイス上でのマルチモーダルフェデレーション学習のためのエントロピー誘導テンソル圧縮
• Abstract要約: MESH-FLは、モダリティ・ヘテロジニアス・フェデレート・ラーニングのためのエントロピー誘導更新圧縮フレームワークである。 我々は, 圧縮されていないFedAvgベースラインを最大で2.01%の精度で越えながら, MESH-FLが最大で56.8倍の圧縮を達成することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) over mobile and edge devices increasingly involves multimodal models in which clients differ in both sensing capability and computational capacity. Existing update compression schemes typically apply uniform policies across layers and devices, without accounting for modality-specific differences in spectral structure and compressibility. We propose MESH-FL, an entropy-guided matrix product state (MPS) update-compression framework for modality-heterogeneous FL on resource-constrained devices. MESH-FL estimates the spectral entropy of each layer-wise update via truncated singular value decomposition and allocates MPS compression ranks adaptively across layers, modalities, and devices under per-client payload budgets. We show that higher spectral entropy necessitates a higher reconstruction rank under the majorization order on singular-value energy distributions. Building on this result, we prove that the proposed entropy-guided allocation solves a convex surrogate rank-allocation problem, preserves monotonicity under the exact payload model, and achieves convergence with an explicit compression-dependent error term. Experiments on a 15-node heterogeneous Raspberry Pi~4/5 cluster with modality-heterogeneous clients show that MESH-FL achieves up to $56.8\times$ compression while surpassing the uncompressed FedAvg baseline in final accuracy by up to 2.01%, and reduces total transmitted data to reach convergence by up to $66\times$.
• Abstract（参考訳）: モバイルおよびエッジデバイス上でのフェデレーション学習(FL)では、クライアントが知覚能力と計算能力の両方が異なるマルチモーダルモデルがますます必要となる。 既存の更新圧縮スキームは通常、スペクトル構造と圧縮性の違いを考慮せずに、層やデバイス間で均一なポリシーを適用する。 本稿では,MPS更新圧縮フレームワークであるMESH-FLを提案する。 MESH-FLは、切り捨てられた特異値分解によって各レイヤワイズ更新のスペクトルエントロピーを推定し、各クライアントペイロード予算の下で、レイヤ、モダリティ、デバイス間でMPS圧縮ランクを適応的に割り当てる。 本研究では,高スペクトルエントロピーは特異値エネルギー分布の高次化順序の下で高い再構成位を必要とすることを示す。 この結果に基づいて,提案したエントロピー誘導型アロケーションは,凸次数割当問題を解き,厳密なペイロードモデルの下で単調性を保持し,明示的な圧縮依存誤差項で収束することを示した。 15ノードのヘテロジニアスなRaspberry Pi~4/5クラスタとモダリティ・ヘテロジニアスなクライアントによる実験では、MESH-FLは最大56.8\times$圧縮を達成し、圧縮されていないFedAvgベースラインを最大2.01%の精度で上回った。

関連論文リスト

• Efficient Learned Image Compression without Entropy Coding [62.01837001379442]
  エントロピー符号化自由学習画像圧縮(EF-LIC)を提案する。 EF-LICは、符号化レイテンシの低い統計的および相関的冗長性を排除し、コンパクトな表現を生成するマルチレートフレームワークである。 実験の結果、EF-LIC はコダックの MS-ILLM を LPIPS で67.86% 削減できることがわかった。
  論文  参考訳（メタデータ） (2026-05-22T07:37:30Z)
• PACE: Post-Causal Entropy Modeling for Learned LiDAR Point Cloud Compression [43.524231862354405]
  LiDARポイントクラウド圧縮は、高解像度センサーから大量のデータを処理するために自律システムにとって不可欠である。 PACEは、祖先のコンテキストアグリゲーションを非因果バックボーンとして再構成し、因果関係を軽量でステージスケーラ可能な予測器に変換する新しいフレームワークである。 実験により、PACEは圧縮効率を新たな最先端に設定し、顕著なBD-BR節約を実現し、自動回帰モードで復号遅延を90%以上削減した。
  論文  参考訳（メタデータ） (2026-05-02T08:36:11Z)
• Quantum-Enhanced Processing with Tensor-Network Frontends for Privacy-Aware Federated Medical Diagnosis [0.13999481573773068]
  このフレームワークは、プライバシーに配慮したフェデレーション学習における2つの実践的な制約によって動機付けられている。 MPCベンチマークは、通信コストが主に保護された潜在表現の次元によって管理されていることを示している。 結果は、表現圧縮、ポストアグリゲーション量子リファインメント、プライバシ対応デプロイメントを共同で最適化するコNISTの観点をサポートする。
  論文  参考訳（メタデータ） (2026-04-02T04:52:31Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• An Efficient Gradient-Aware Error-Bounded Lossy Compressor for Federated Learning [7.649286962189554]
  フェデレートラーニング(FL)は、クライアントのプライベートデータを公開せずに、協調的なモデルトレーニングを可能にする。 EBLCは特に、細粒度のユーティリティ圧縮トレードオフをアピールしている。 モデル精度を保ちながら高い圧縮率を達成するために,FL勾配データに適したEBLCフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-07T23:59:09Z)
• Low-Rank Matrix Approximation for Neural Network Compression [0.0]
  本稿では,重み行列の圧縮に最適なランクを近似する適応型特異値分解法を提案する。 ARSVDは、その特異値のエントロピー分布を通じて、層ごとのランクの適応的な選択を使用する。 提案手法は, 効率よく, 層圧縮が可能であり, 空間, 時間的複雑さを低減して性能を向上する。
  論文  参考訳（メタデータ） (2025-04-25T06:04:01Z)
• HEMGS: A Hybrid Entropy Model for 3D Gaussian Splatting Data Compression [25.820461699307042]
  本稿では,3次元ガウススプラッティング(HEMGS)のためのハイブリッドエントロピーモデルを提案する。 変数レート予測器、ハイパープライアネットワーク、自動回帰ネットワークの3つの主要コンポーネントで構成されている。 HEMGSは、ベースラインメソッドのレンダリング品質を維持しながら、約40%のサイズ削減を実現している。
  論文  参考訳（メタデータ） (2024-11-27T16:08:59Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Compression of Generative Pre-trained Language Models via Quantization [62.80110048377957]
  従来の量子化手法は, テクスモジニアス単語の埋め込みによって生成タスクに失敗することがわかった。 本稿では,区別可能な単語埋め込みを学習するためのトークンレベルのコントラスト蒸留法と,異なるモジュールに対して量子化器を適応させるモジュールワイドダイナミックスケーリングを提案する。
  論文  参考訳（メタデータ） (2022-03-21T02:11:35Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• HEMP: High-order Entropy Minimization for neural network comPression [20.448617917261874]
  我々は、量子化された人工ニューラルネットワークのエントロピーを、正規化項として、降下によって最小化されるコスト関数にプラグインできる微分可能な関数として定式化する。 HEMPは, モデル自体の刈り取りや定量化を目的とした他の手法と相乗効果があり, モデルの性能を損なうことなく, ストレージサイズ圧縮性の観点から大きなメリットが得られることを示す。
  論文  参考訳（メタデータ） (2021-07-12T10:17:53Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。