論文の概要: Minimum Entropy Coupling with Bottleneck

• arxiv url: http://arxiv.org/abs/2410.21666v1
• Date: Tue, 29 Oct 2024 02:19:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:38:46.679607
• Title: Minimum Entropy Coupling with Bottleneck
• Title（参考訳）: ボトルネックによる最小エントロピー結合
• Authors: M. Reza Ebrahimi, Jun Chen, Ashish Khisti,
• Abstract要約: 本稿では,対数損失下で動作する新しい損失圧縮フレームワークについて検討する。 特に、共同圧縮と検索を必要とするアプリケーションや、処理による分散シフトを伴うシナリオに関係している。 提案した定式化は、ボトルネックを統合することにより、古典的な最小エントロピー結合フレームワークを拡張していることを示す。
• 参考スコア（独自算出の注目度）: 22.409716686394525
• License:
• Abstract: This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.
• Abstract（参考訳）: 本稿では, 対数的損失下で動作する新しい損失圧縮フレームワークについて検討し, 震源分布から復元分布が分岐する状況に対処する。 このフレームワークは、共同圧縮と検索を必要とするアプリケーションや、処理による分散シフトを伴うシナリオに特に関係している。 提案した定式化は、ボトルネックを統合することによって古典的最小エントロピー結合の枠組みを拡張し、結合の確率性を制御できることを示す。 本稿では,エンコーダのエントロピー境界情報最大化 (EBIM) とデコーダのミニマルエントロピー結合 (MEC) の2つの異なる最適化問題に対して,ボトルネックを用いた最小エントロピー結合 (MEC-B) の分解について検討する。 広範に解析することで,EBIM が性能を保証し,機能的マッピングに近い最適解を特徴付け,この問題の構造的複雑さに関する重要な理論的洞察を得ることができる。 さらに,レート制限下でのマルコフ符号化ゲーム(MCG)の実験を通じてMEC-Bの実用化について述べる。 これらのゲームはマルコフ決定プロセス内の通信シナリオをシミュレートし、エージェントはその動作を通じて送信側から受信側へ圧縮されたメッセージを送信しなければならない。 本実験は, 従来の圧縮ベースラインと比較して, MDP報酬と各種圧縮速度における受信精度のトレードオフを強調し, 提案手法の有効性を示すものである。

関連論文リスト

• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [10.564071872770146]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 最適パラメトリック解を特徴付ける。 歪みと知覚制約について十分な条件を提供する。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Near Optimal Decentralized Optimization with Compression and Momentum Tracking [27.484212303346816]
  MoTEFは,Momentum Tracking と Error Feedback との通信を統合する新しい手法である。 我々の分析は、MoTEFが所望のプロパティの大部分と、データの下でかなり既存のメソッドを統合することを実証している。
  論文  参考訳（メタデータ） (2024-05-30T14:51:57Z)
• Computing Low-Entropy Couplings for Large-Support Distributions [53.00113867130712]
  最小エントロピー結合は因果関係やステガノグラフィーなどの分野で応用されている。 既存のアルゴリズムは、大容量の分布に対して計算的に抽出可能であるか、特定の分布タイプに限定されている。 この研究は、事前の反復MECアプローチを一般化されたパーティションベースの形式主義に統一することにより、これらの制限に対処する。
  論文  参考訳（メタデータ） (2024-05-29T21:54:51Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression [31.107056382542417]
  通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。 軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
  論文  参考訳（メタデータ） (2023-05-12T17:02:43Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Task-Based Information Compression for Multi-Agent Communication Problems with Channel Rate Constraints [28.727611928919725]
  本稿では,情報圧縮アルゴリズム(SAIC)のステートアグリゲーションを導入し,定式化TBIC問題の解法を提案する。 その結果,SAICは割引報酬の総和でほぼ最適性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-28T18:29:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。