論文の概要: Bottleneck Problems: Information and Estimation-Theoretic View
- arxiv url: http://arxiv.org/abs/2011.06208v1
- Date: Thu, 12 Nov 2020 05:16:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 08:06:21.452609
- Title: Bottleneck Problems: Information and Estimation-Theoretic View
- Title（参考訳）: ボトルネック問題:情報と推定理論
- Authors: Shahab Asoodeh and Flavio Calmon
- Abstract要約: 情報ボトルネック(IB)とプライバシファンネル(PF)は、密接に関連する2つの最適化問題である。
特定の関数の下位エンベロープや上部エンベロープを等価に表現することで、閉形式のボトルネック問題を評価する方法を示す。
- 参考スコア（独自算出の注目度）: 2.7793394375935088
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Information bottleneck (IB) and privacy funnel (PF) are two closely related
optimization problems which have found applications in machine learning, design
of privacy algorithms, capacity problems (e.g., Mrs. Gerber's Lemma), strong
data processing inequalities, among others. In this work, we first investigate
the functional properties of IB and PF through a unified theoretical framework.
We then connect them to three information-theoretic coding problems, namely
hypothesis testing against independence, noisy source coding and dependence
dilution. Leveraging these connections, we prove a new cardinality bound for
the auxiliary variable in IB, making its computation more tractable for
discrete random variables.
In the second part, we introduce a general family of optimization problems,
termed as \textit{bottleneck problems}, by replacing mutual information in IB
and PF with other notions of mutual information, namely $f$-information and
Arimoto's mutual information. We then argue that, unlike IB and PF, these
problems lead to easily interpretable guarantee in a variety of inference tasks
with statistical constraints on accuracy and privacy. Although the underlying
optimization problems are non-convex, we develop a technique to evaluate
bottleneck problems in closed form by equivalently expressing them in terms of
lower convex or upper concave envelope of certain functions. By applying this
technique to binary case, we derive closed form expressions for several
bottleneck problems.
- Abstract（参考訳）: 情報ボトルネック(IB)とプライバシファンネル(PF)は、機械学習、プライバシアルゴリズムの設計、キャパシティ問題(例えば、Mrs. Gerber's Lemma)、強力なデータ処理の不平等など、密接に関連する2つの最適化問題である。
そこで本研究では,IBとPFの機能的特性を統一的な理論的枠組みを用いて検討する。
次に、これらを3つの情報理論的な符号化問題、すなわち独立性に対する仮説検証、ノイズの多いソースコーディング、および依存希釈に結びつける。
これらの接続を利用すると、ICB の補助変数に対する新しい濃度境界が証明され、離散確率変数に対する計算がより困難になる。
第2部では、ib と pf の相互情報と、$f$-information と arimoto の相互情報という他の相互情報の概念とを置き換えることで、最適化問題の一般的な族である \textit{bottleneck problems} を導入する。
IBやPFとは異なり、これらの問題は精度とプライバシーに関する統計的制約のある様々な推論タスクにおいて容易に解釈可能な保証をもたらす。
基礎となる最適化問題は凸ではないが、特定の関数の下側凸や上側凹部を等価に表現することにより、閉形式のボトルネック問題を評価できる手法を開発した。
この手法をバイナリケースに適用することにより、いくつかのボトルネック問題に対してクローズドフォーム式を導出する。
関連論文リスト
- Investigating the Relation Between Problem Hardness and QUBO Properties [0.0]
この研究は、問題のプロパティ間の関係にいくつかの光を当てることを目的としている。
機械学習、すなわちクラスタリングとサポートベクトルマシン(SVM)のトレーニングからよく知られた2つの問題を解析する。
経験的評価は興味深い洞察を与え、クラスタリングQUBOインスタンスのスペクトルギャップがデータ分離可能性と正の相関を示す一方で、SVM QUBOでは逆が真であることを示す。
論文 参考訳（メタデータ） (2024-04-03T13:53:03Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。
本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。
その独特な洞察力のある性質とその分析も提示される。
論文 参考訳（メタデータ） (2023-10-30T14:15:47Z) - Manually Selecting The Data Function for Supervised Learning of small
datasets [0.0]
教師付き学習問題は、情報の欠如によって悪用される可能性がある。
情報に乏しい演算子を初期化することは、より正確な答えを得るためにより良い質問をするのに似ている。
第1種(FIFK)のフレドホルム積分方程式(Fredholm integral equation of the first kind)は、分布と事前知識を入力情報として統合できる信頼できない演算子である。
論文 参考訳（メタデータ） (2023-03-07T13:38:04Z) - QuAnt: Quantum Annealing with Learnt Couplings [18.40480332882025]
我々はデータからQUBOフォームを導出するのではなく、勾配のバックプロパゲーションを通して学習する。
本稿では,グラフマッチングや2次元点雲のアライメント,3次元回転推定といった多種多様な問題に対する学習QUBOの利点を示す。
論文 参考訳（メタデータ） (2022-10-13T17:59:46Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳（メタデータ） (2022-06-20T03:09:46Z) - Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。
FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。
提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
論文 参考訳（メタデータ） (2022-06-11T16:21:17Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-07T10:14:18Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Batch Value-function Approximation with Only Realizability [17.692408242465763]
バッチ強化学習(RL):探索データセットからQstar$を学習する。
我々のアルゴリズムであるBVFTは、トーナメントの手順を通じて硬さ予想(探索データというより強い概念の下では)を破る。
また、BVFTが他の拡張と開問題の間のモデル選択にどのように適用できるかについても論じる。
論文 参考訳（メタデータ） (2020-08-11T20:09:37Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - On the Information Bottleneck Problems: Models, Connections,
Applications and Information Theoretic Views [39.49498500593645]
本チュートリアルでは,情報理論の観点からボトルネック問題の変種に着目した。
問題を解決するための実践的な方法と、コーディングと学習の側面との関係について論じる。
論文 参考訳（メタデータ） (2020-01-31T15:23:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。