論文の概要: A Provably Convergent Information Bottleneck Solution via ADMM
- arxiv url: http://arxiv.org/abs/2102.04729v1
- Date: Tue, 9 Feb 2021 09:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 14:48:03.858266
- Title: A Provably Convergent Information Bottleneck Solution via ADMM
- Title（参考訳）: ADMMによる確率収束型情報ボトルネックソリューション
- Authors: Teng-Hui Huang, Aly El Gamal
- Abstract要約: 情報ボトルネック(IB)法は、データの圧縮と学習した表現の予測精度とのトレードオフを最適化する。
IBの最近の研究は、IBラグランジアンに対する変分置換体境界を採用するが、これらの置換体がIBラグランジアンにどの程度近いかは明らかではない。
拡張変数を用いて、交代方向法乗算器を用いてIB目的を解くことができることを示す。
- 参考スコア（独自算出の注目度）: 8.629912408966145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Information bottleneck (IB) method enables optimizing over the trade-off
between compression of data and prediction accuracy of learned representations,
and has successfully and robustly been applied to both supervised and
unsupervised representation learning problems. However, IB has several
limitations. First, the IB problem is hard to optimize. The IB Lagrangian
$\mathcal{L}_{IB}:=I(X;Z)-\beta I(Y;Z)$ is non-convex and existing solutions
guarantee only local convergence. As a result, the obtained solutions depend on
initialization. Second, the evaluation of a solution is also a challenging
task. Conventionally, it resorts to characterizing the information plane, that
is, plotting $I(Y;Z)$ versus $I(X;Z)$ for all solutions obtained from different
initial points. Furthermore, the IB Lagrangian has phase transitions while
varying the multiplier $\beta$. At phase transitions, both $I(X;Z)$ and
$I(Y;Z)$ increase abruptly and the rate of convergence becomes significantly
slow for existing solutions. Recent works with IB adopt variational surrogate
bounds to the IB Lagrangian. Although allowing efficient optimization, how
close are these surrogates to the IB Lagrangian is not clear. In this work, we
solve the IB Lagrangian using augmented Lagrangian methods. With augmented
variables, we show that the IB objective can be solved with the alternating
direction method of multipliers (ADMM). Different from prior works, we prove
that the proposed algorithm is consistently convergent, regardless of the value
of $\beta$. Empirically, our gradient-descent-based method results in
information plane points that are denser and comparable to those obtained
through the conventional Blahut-Arimoto-based solvers.
- Abstract（参考訳）: 情報ボトルネック(IB)法は,データ圧縮と学習した表現の予測精度とのトレードオフを最適化し,教師なしおよび教師なしの表現学習問題に成功・堅牢に適用した。
しかし、IBにはいくつかの制限がある。
第一に、IB問題は最適化が難しい。
IB Lagrangian $\mathcal{L}_{IB}:=I(X;Z)-\beta I(Y;Z)$ は非凸であり、既存の解は局所収束のみを保証する。
その結果、得られたソリューションは初期化に依存します。
第二に、ソリューションの評価も難しい課題である。
従来は、異なる初期点から得られたすべての解に対して$I(Y;Z)$対$I(X;Z)$という情報平面の特徴付けに頼っていた。
さらに、IB Lagrangian は相転移を持ち、乗数 $\beta$ を変化させる。
相転移では、$I(X;Z)$と$I(Y;Z)$の両方が急上昇し、既存のソリューションでは収束率が大幅に遅くなります。
IBとの最近の研究は、IBラグランジアンに対する変分代理境界を採用する。
効率的な最適化を可能にするが、これらの代理がIBラグランジアンにどれほど近いかは明らかではない。
本研究では,拡張ラグランジアン法を用いてIBラグランジアンを解く。
拡張変数では、乗算器(ADMM)の交互方向法によりIB目標を解くことができることを示す。
先行研究と異なり,$\beta$ の値にかかわらず,提案アルゴリズムが一貫して収束していることが証明される。
その結果,従来のblahut-arimoto型解法と比較して,より密度が高く,かつ同等な情報平面が得られた。
関連論文リスト
- Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-12-19T14:48:54Z) - Provably Efficient Model-Free Constrained RL with Linear Function
Approximation [4.060731229044571]
我々は,大規模システムにおいても,サブリニア後悔とサブリニア制約違反を実現するための,最初のモデルフリーシミュレータフリーアルゴリズムを開発した。
本結果は,標準LSVI-UCBアルゴリズムの新たな適応により達成される。
論文 参考訳（メタデータ） (2022-06-23T17:54:31Z) - Solving Constrained Variational Inequalities via an Interior Point
Method [88.39091990656107]
制約付き変分不等式(cVI)問題を解くためのインテリアポイントアプローチを開発する。
本稿では,2種類の問題においてACVIの収束保証を提供する。
この設定における以前の作業とは異なり、ACVIは制約が自明でない場合にcVIを解く手段を提供する。
論文 参考訳（メタデータ） (2022-06-21T17:55:13Z) - Black-Box Min--Max Continuous Optimization Using CMA-ES with Worst-case
Ranking Approximation [22.576922942465142]
一般的なアプローチでは、$x$と$y$を同時に、あるいは交互に更新する。
既存のアプローチは、$f$がリプシッツの滑らかで、最適解を囲む凸凸が強い場合失敗する。
本稿では、共分散行列適応進化戦略を用いて、最悪の対象関数 $F(x)=max_yf(x,y)$ を最小化することを提案する。
論文 参考訳（メタデータ） (2022-04-06T08:03:39Z) - Distributionally Robust Bayesian Optimization with $\phi$-divergences [55.071434352141395]
我々は,$phi$-divergences におけるデータシフトに対するロバストさを,Total Variation や既存のKullback-Leibler の発散など,多くの一般的な選択を仮定する。
この設定におけるDRO-BO問題は有限次元最適化問題と等価であり、連続的な文脈でも証明可能な部分線型後悔境界で容易に実装できることを示す。
論文 参考訳（メタデータ） (2022-03-04T04:34:52Z) - A framework for bilevel optimization that enables stochastic and global
variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文 参考訳（メタデータ） (2022-01-31T18:17:25Z) - Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free
Reinforcement Learning [52.76230802067506]
漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。
提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。
初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
論文 参考訳（メタデータ） (2021-10-09T21:13:48Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z) - Inexact and Stochastic Generalized Conditional Gradient with Augmented
Lagrangian and Proximal Step [2.0196229393131726]
我々は著者の以前の論文で開発されたCGALPアルゴリズムの不正確さとバージョンを分析した。
これにより、いくつかの勾配、項、および/または線形最小化オラクルを不正確な方法で計算することができる。
ラグランジアンのアフィン制約の最適性と実現可能性への収束を示す。
論文 参考訳（メタデータ） (2020-05-11T14:52:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。