論文の概要: Bottlenecks CLUB: Unifying Information-Theoretic Trade-offs Among Complexity, Leakage, and Utility

• arxiv url: http://arxiv.org/abs/2207.04895v1
• Date: Mon, 11 Jul 2022 14:07:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 18:11:55.362473
• Title: Bottlenecks CLUB: Unifying Information-Theoretic Trade-offs Among Complexity, Leakage, and Utility
• Title（参考訳）: Bottlenecks CLUB:複雑度、漏洩度、実用性に関する情報理論のトレードオフを統合する
• Authors: Behrooz Razeghi, Flavio P. Calmon, Deniz Gunduz, Slava Voloshynovskiy
• Abstract要約: ボトルネック問題(英: Bottleneck problem)は、機械学習と情報理論の分野において近年注目を集めている最適化問題の重要なクラスである。 本稿では,複雑性推論ユーティリティ・ボトルネック(CLUB)モデルと呼ばれる最適化問題の一般的なファミリーを提案する。 CLUBモデルは、他の情報理論プライバシモデルと同様に、これらの問題を一般化する。
• 参考スコア（独自算出の注目度）: 8.782250973555026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bottleneck problems are an important class of optimization problems that have recently gained increasing attention in the domain of machine learning and information theory. They are widely used in generative models, fair machine learning algorithms, design of privacy-assuring mechanisms, and appear as information-theoretic performance bounds in various multi-user communication problems. In this work, we propose a general family of optimization problems, termed as complexity-leakage-utility bottleneck (CLUB) model, which (i) provides a unified theoretical framework that generalizes most of the state-of-the-art literature for the information-theoretic privacy models, (ii) establishes a new interpretation of the popular generative and discriminative models, (iii) constructs new insights to the generative compression models, and (iv) can be used in the fair generative models. We first formulate the CLUB model as a complexity-constrained privacy-utility optimization problem. We then connect it with the closely related bottleneck problems, namely information bottleneck (IB), privacy funnel (PF), deterministic IB (DIB), conditional entropy bottleneck (CEB), and conditional PF (CPF). We show that the CLUB model generalizes all these problems as well as most other information-theoretic privacy models. Then, we construct the deep variational CLUB (DVCLUB) models by employing neural networks to parameterize variational approximations of the associated information quantities. Building upon these information quantities, we present unified objectives of the supervised and unsupervised DVCLUB models. Leveraging the DVCLUB model in an unsupervised setup, we then connect it with state-of-the-art generative models, such as variational auto-encoders (VAEs), generative adversarial networks (GANs), as well as the Wasserstein GAN (WGAN), Wasserstein auto-encoder (WAE), and adversarial auto-encoder (AAE) models through the optimal transport (OT) problem. We then show that the DVCLUB model can also be used in fair representation learning problems, where the goal is to mitigate the undesired bias during the training phase of a machine learning model. We conduct extensive quantitative experiments on colored-MNIST and CelebA datasets, with a public implementation available, to evaluate and analyze the CLUB model.
• Abstract（参考訳）: ボトルネック問題は、機械学習と情報理論の領域で最近注目を集めている最適化問題の重要なクラスである。 これらは生成モデル、公正な機械学習アルゴリズム、プライバシー保護機構の設計に広く使われ、様々なマルチユーザ通信問題において情報理論のパフォーマンス境界として現れる。 本研究では,複雑性推論ユーティリティ・ボトルネック(CLUB)モデルと呼ばれる最適化問題の一般的なファミリーを提案する。 i)情報理論プライバシモデルのための最先端文献の大部分を一般化する統一理論フレームワークを提供する。 (ii)一般的な生成モデルと判別モデルの新たな解釈を確立する。 (iii)生成圧縮モデルに対する新たな洞察の構築、 (iv)は、公正な生成モデルで使用することができる。 まず、複雑性に制約のあるプライバシーユーティリティ最適化問題としてCLUBモデルを定式化する。 次に、情報ボトルネック(IB)、プライバシーファネル(PF)、決定論的IB(DIB)、条件付きエントロピーボトルネック(CEB)、条件付きPF(CPF)といった、関連するボトルネック問題と接続する。 CLUBモデルは、他の情報理論プライバシモデルと同様に、これらの問題を一般化する。 そこで,ニューラルネットワークを用いた深部変分CLUB(DVCLUB)モデルを構築し,関連する情報量の変動近似をパラメータ化する。 これらの情報量に基づいて、教師付きおよび教師なしDVCLUBモデルの統一目的を示す。 DVCLUBモデルを教師なしのセットアップで活用すると、変分オートエンコーダ(VAE)、生成逆数ネットワーク(GAN)、ワッサーシュタイン GAN(WGAN)、ワッサーシュタインオートエンコーダ(WAE)、および逆数オートエンコーダ(AAE)モデルといった最先端の生成モデルと接続する。 次に、DVCLUBモデルは、機械学習モデルのトレーニングフェーズにおける望ましくないバイアスを軽減することを目的として、公正表現学習問題にも使用できることを示す。 クラブモデルの評価と解析のために,カラーmnistおよびcelebaデータセットに関する広範囲な定量的実験を行い,公開実装を行った。

関連論文リスト

• DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
  拡散生成モデルはより広い範囲の解を考えることができ、学習パラメータによるより強力な一般化を示す。 拡散生成モデルの本質的な分布学習を利用して高品質な解を学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T07:56:21Z)
• Improving Generalization of Neural Vehicle Routing Problem Solvers Through the Lens of Model Architecture [9.244633039170186]
  本稿では,ESF(Scaling Factor)とDS(Distributed-Specific)デコーダを提案する。 ESFは、様々な大きさのVRPを解く際に、トレーニング中に発見された慣れ親しんだものに対して、モデルの注意重みパターンを調整する。 DSデコーダは、複数の補助光デコーダを通して複数のトレーニング分布パターンのVRPを明示的にモデル化し、モデル表現空間を拡大する。
  論文  参考訳（メタデータ） (2024-06-10T09:03:17Z)
• MONAL: Model Autophagy Analysis for Modeling Human-AI Interactions [11.972017738888825]
  大規模モデルの自己消費説明のためのモデルオートファジー分析(MONAL)を提案する。 MONALは、人間とAIシステム間の交換における人為的な情報の抑制を解明するために、2つの異なる自己食ループを使用している。 生成したモデルのキャパシティを,情報作成者とディスセミネータの両方として評価する。
  論文  参考訳（メタデータ） (2024-02-17T13:02:54Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• De-Biasing Generative Models using Counterfactual Methods [0.0]
  我々はCausal Counterfactual Generative Model (CCGM) と呼ばれる新しいデコーダベースのフレームワークを提案する。 提案手法は,因果関係の忠実さを強調するために,因果関係の潜在空間VAEモデルと特定の修正を加えたものである。 因果的学習と符号化/復号化が因果的介入の質をいかに高めるかを検討する。
  論文  参考訳（メタデータ） (2022-07-04T16:53:20Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Application of Federated Learning in Building a Robust COVID-19 Chest X-ray Classification Model [0.0]
  フェデレートラーニング(FL)は、すべてのデータを中央サーバに移動させることなく、AIモデルの一般化を支援する。 我々は、新型コロナウイルスの有無を予測するバイナリ分類問題を解決するために、ディープラーニングモデルを訓練した。
  論文  参考訳（メタデータ） (2022-04-22T05:21:50Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• The Conditional Entropy Bottleneck [8.797368310561058]
  我々は、頑健な一般化の失敗を、ホールトアウトセット上の精度や関連するメトリクスの失敗として特徴づける。 本稿では,モデルの品質を評価するために,最小限必要情報(MNI)基準を提案する。 MNI基準に関して良好に機能するモデルを訓練するために、新しい目的関数である条件エントロピー・ボトルネック(CEB)を提案する。 我々は,CEBモデルと決定論的モデル,および様々なデータセット上での変動情報ボトルネック(VIB)モデルの性能を比較することにより,我々の仮説を実験的に検証した。
  論文  参考訳（メタデータ） (2020-02-13T07:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。