論文の概要: Data efficiency, dimensionality reduction, and the generalized symmetric information bottleneck

• arxiv url: http://arxiv.org/abs/2309.05649v1
• Date: Mon, 11 Sep 2023 17:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 16:00:27.442243
• Title: Data efficiency, dimensionality reduction, and the generalized symmetric information bottleneck
• Title（参考訳）: データ効率、次元減少、および一般化対称情報ボトルネック
• Authors: K. Michael Martini and Ilya Nemenman
• Abstract要約: 我々はGSIB(Generalized Symmetric Information Bottleneck)を紹介する。 GSIBは2つのランダム変数を同時に圧縮し、圧縮されたバージョン間の情報を保存する。 GSIB圧縮を同時に行う場合、同じ誤差を1回に1回に1回圧縮するのに比べて、定性的に少ないデータを必要とすることが示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Symmetric Information Bottleneck (SIB), an extension of the more familiar Information Bottleneck, is a dimensionality reduction technique that simultaneously compresses two random variables to preserve information between their compressed versions. We introduce the Generalized Symmetric Information Bottleneck (GSIB), which explores different functional forms of the cost of such simultaneous reduction. We then explore the dataset size requirements of such simultaneous compression. We do this by deriving bounds and root-mean-squared estimates of statistical fluctuations of the involved loss functions. We show that, in typical situations, the simultaneous GSIB compression requires qualitatively less data to achieve the same errors compared to compressing variables one at a time. We suggest that this is an example of a more general principle that simultaneous compression is more data efficient than independent compression of each of the input variables.
• Abstract（参考訳）: シンメトリ・インフォメーション・ボトルネック(Symmetric Information Bottleneck, SIB)は、2つのランダム変数を同時に圧縮して圧縮したバージョン間の情報を保存する次元還元技術である。 本稿では, 一般化対称性情報ボトルネック (GSIB) を導入し, 同時還元コストの異なる機能形態を探索する。 次に、このような同時圧縮のデータセットサイズ要件について検討する。 我々は、関連する損失関数の統計的揺らぎの有界とルート平均2乗推定を導出した。 GSIB圧縮を同時に行う場合、同じ誤差を1回に1回に1回圧縮するのに比べて、定性的に少ないデータを必要とする。 これは、各入力変数の独立圧縮よりも同時圧縮の方がデータ効率が良いという、より一般的な原則の例である。

関連論文リスト

• Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
  分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。 最適化向上の手段として勾配圧縮法が提案されている。 我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
  論文  参考訳（メタデータ） (2024-11-19T22:26:42Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Data-Aware Gradient Compression for FL in Communication-Constrained Mobile Computing [20.70238092277094]
  モバイル環境におけるフェデレートラーニング(FL)は、重要なコミュニケーションボトルネックに直面している。 ワンサイズ・フィット・オール圧縮アプローチは、ワーカ間でのさまざまなデータボリュームを考慮に入れない。 本研究では,データ分布とボリュームが異なる作業者に対して,様々な圧縮比を提案する。
  論文  参考訳（メタデータ） (2023-11-13T13:24:09Z)
• Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
  本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
  論文  参考訳（メタデータ） (2023-09-08T14:05:56Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models [78.93424358827528]
  本稿では,LiDARセンサデータのストレージストリームを削減するための新しい圧縮アルゴリズムを提案する。 本手法は,従来のLiDAR圧縮法よりも接合形状と強度を著しく低減する。
  論文  参考訳（メタデータ） (2020-11-15T17:41:14Z)
• On Communication Compression for Distributed Optimization on Heterogeneous Data [28.197694894254305]
  機械学習モデルの分散トレーニングにおいて、通信ボトルネックを回避するために、ロッシー勾配圧縮が重要なツールとなっている。 i) 任意の非バイアス量子化器を用いた分散量子化SGDと(ii) エラーフィードバックとバイアス圧縮器を用いた分散SGDの2種類の標準および一般的な手法の性能解析を行う。 以上の結果から,D-EF-SGDは非IDデータによるD-QSGDよりも影響を受けないことがわかった。
  論文  参考訳（メタデータ） (2020-09-04T20:48:08Z)
• On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
  本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。 圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-23T03:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。