論文の概要: On the Information Bottleneck Problems: Models, Connections, Applications and Information Theoretic Views

• arxiv url: http://arxiv.org/abs/2002.00008v1
• Date: Fri, 31 Jan 2020 15:23:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 06:56:02.185484
• Title: On the Information Bottleneck Problems: Models, Connections, Applications and Information Theoretic Views
• Title（参考訳）: インフォメーション・ボトルネック問題:モデル,コネクト,アプリケーション,および情報理論的視点
• Authors: Abdellatif Zaidi, Inaki Estella Aguerri and Shlomo Shamai (Shitz)
• Abstract要約: 本チュートリアルでは,情報理論の観点からボトルネック問題の変種に着目した。 問題を解決するための実践的な方法と、コーディングと学習の側面との関係について論じる。
• 参考スコア（独自算出の注目度）: 39.49498500593645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This tutorial paper focuses on the variants of the bottleneck problem taking an information theoretic perspective and discusses practical methods to solve it, as well as its connection to coding and learning aspects. The intimate connections of this setting to remote source-coding under logarithmic loss distortion measure, information combining, common reconstruction, the Wyner-Ahlswede-Korner problem, the efficiency of investment information, as well as, generalization, variational inference, representation learning, autoencoders, and others are highlighted. We discuss its extension to the distributed information bottleneck problem with emphasis on the Gaussian model and highlight the basic connections to the uplink Cloud Radio Access Networks (CRAN) with oblivious processing. For this model, the optimal trade-offs between relevance (i.e., information) and complexity (i.e., rates) in the discrete and vector Gaussian frameworks is determined. In the concluding outlook, some interesting problems are mentioned such as the characterization of the optimal inputs ("features") distributions under power limitations maximizing the "relevance" for the Gaussian information bottleneck, under "complexity" constraints.
• Abstract（参考訳）: 本稿では,情報理論的な視点を取り入れたボトルネック問題の変種に着目し,それを解決する実践的手法と,コーディングや学習の側面との関係について考察する。 この設定と対数的損失歪み測定、情報の組み合わせ、共通再構成、Wyner-Ahlswede-Korner問題、投資情報の効率、一般化、変分推論、表現学習、オートエンコーダなどのリモートソースコーディングとの親密な関係が強調される。 本稿では,gaussianモデルに着目した分散情報ボトルネック問題への拡張について検討し,uplink cloud radio access networks (cran) との基本的な接続を不明瞭な処理で強調する。 このモデルでは、離散およびベクトルガウスのフレームワークにおける関連性(情報)と複雑性(率)の最適なトレードオフが決定される。 結論付けの見通しでは、ガウスの情報ボトルネックの「関連」を最大化するパワー制限の下での最適入力(特徴)分布を「複雑度」制約の下で特徴づけるなど、いくつかの興味深い問題が言及されている。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• Bottleneck Problems: Information and Estimation-Theoretic View [2.7793394375935088]
  情報ボトルネック(IB)とプライバシファンネル(PF)は、密接に関連する2つの最適化問題である。 特定の関数の下位エンベロープや上部エンベロープを等価に表現することで、閉形式のボトルネック問題を評価する方法を示す。
  論文  参考訳（メタデータ） (2020-11-12T05:16:44Z)
• On the Relevance-Complexity Region of Scalable Information Bottleneck [15.314757778110955]
  本稿では,エンコーダが観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。 問題の動機は、一般化の許容レベルに応じて様々なレベルの精度を必要とする、いくつかのアプリケーションシナリオにある。
  論文  参考訳（メタデータ） (2020-11-02T22:25:28Z)
• Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
  本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。 エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。 入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-16T15:07:25Z)
• Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
  本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。 i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
  論文  参考訳（メタデータ） (2020-05-18T16:28:54Z)
• Distributed Learning in the Non-Convex World: From Batch to Streaming Data, and Beyond [73.03743482037378]
  分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。 本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。 実践的な問題や今後の研究についても論じる。
  論文  参考訳（メタデータ） (2020-01-14T14:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。