論文の概要: A Provably Convergent Information Bottleneck Solution via ADMM
- arxiv url: http://arxiv.org/abs/2102.04729v1
- Date: Tue, 9 Feb 2021 09:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 14:48:03.858266
- Title: A Provably Convergent Information Bottleneck Solution via ADMM
- Title（参考訳）: ADMMによる確率収束型情報ボトルネックソリューション
- Authors: Teng-Hui Huang, Aly El Gamal
- Abstract要約: 情報ボトルネック(IB)法は、データの圧縮と学習した表現の予測精度とのトレードオフを最適化する。
IBの最近の研究は、IBラグランジアンに対する変分置換体境界を採用するが、これらの置換体がIBラグランジアンにどの程度近いかは明らかではない。
拡張変数を用いて、交代方向法乗算器を用いてIB目的を解くことができることを示す。
- 参考スコア（独自算出の注目度）: 8.629912408966145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Information bottleneck (IB) method enables optimizing over the trade-off
between compression of data and prediction accuracy of learned representations,
and has successfully and robustly been applied to both supervised and
unsupervised representation learning problems. However, IB has several
limitations. First, the IB problem is hard to optimize. The IB Lagrangian
$\mathcal{L}_{IB}:=I(X;Z)-\beta I(Y;Z)$ is non-convex and existing solutions
guarantee only local convergence. As a result, the obtained solutions depend on
initialization. Second, the evaluation of a solution is also a challenging
task. Conventionally, it resorts to characterizing the information plane, that
is, plotting $I(Y;Z)$ versus $I(X;Z)$ for all solutions obtained from different
initial points. Furthermore, the IB Lagrangian has phase transitions while
varying the multiplier $\beta$. At phase transitions, both $I(X;Z)$ and
$I(Y;Z)$ increase abruptly and the rate of convergence becomes significantly
slow for existing solutions. Recent works with IB adopt variational surrogate
bounds to the IB Lagrangian. Although allowing efficient optimization, how
close are these surrogates to the IB Lagrangian is not clear. In this work, we
solve the IB Lagrangian using augmented Lagrangian methods. With augmented
variables, we show that the IB objective can be solved with the alternating
direction method of multipliers (ADMM). Different from prior works, we prove
that the proposed algorithm is consistently convergent, regardless of the value
of $\beta$. Empirically, our gradient-descent-based method results in
information plane points that are denser and comparable to those obtained
through the conventional Blahut-Arimoto-based solvers.
- Abstract（参考訳）: 情報ボトルネック(IB)法は,データ圧縮と学習した表現の予測精度とのトレードオフを最適化し,教師なしおよび教師なしの表現学習問題に成功・堅牢に適用した。
しかし、IBにはいくつかの制限がある。
第一に、IB問題は最適化が難しい。
IB Lagrangian $\mathcal{L}_{IB}:=I(X;Z)-\beta I(Y;Z)$ は非凸であり、既存の解は局所収束のみを保証する。
その結果、得られたソリューションは初期化に依存します。
第二に、ソリューションの評価も難しい課題である。
従来は、異なる初期点から得られたすべての解に対して$I(Y;Z)$対$I(X;Z)$という情報平面の特徴付けに頼っていた。
さらに、IB Lagrangian は相転移を持ち、乗数 $\beta$ を変化させる。
相転移では、$I(X;Z)$と$I(Y;Z)$の両方が急上昇し、既存のソリューションでは収束率が大幅に遅くなります。
IBとの最近の研究は、IBラグランジアンに対する変分代理境界を採用する。
効率的な最適化を可能にするが、これらの代理がIBラグランジアンにどれほど近いかは明らかではない。
本研究では,拡張ラグランジアン法を用いてIBラグランジアンを解く。
拡張変数では、乗算器(ADMM)の交互方向法によりIB目標を解くことができることを示す。
先行研究と異なり,$\beta$ の値にかかわらず,提案アルゴリズムが一貫して収束していることが証明される。
その結果,従来のblahut-arimoto型解法と比較して,より密度が高く,かつ同等な情報平面が得られた。
関連論文リスト
- An Oblivious Stochastic Composite Optimization Algorithm for Eigenvalue
Optimization Problems [76.2042837251496]
相補的な合成条件に基づく2つの難解なミラー降下アルゴリズムを導入する。
注目すべきは、どちらのアルゴリズムも、目的関数のリプシッツ定数や滑らかさに関する事前の知識なしで機能する。
本稿では,大規模半確定プログラム上での手法の効率性とロバスト性を示す。
論文 参考訳（メタデータ） (2023-06-30T08:34:29Z) - A Finite Expression Method for Solving High-Dimensional Committor Problems [5.748690310135373]
有限表現法(FEX)をコミッタの計算ツールとして検討する。
FEXベースのコミッタソルバは、いくつかの高次元ベンチマーク問題でテストされる。
論文 参考訳（メタデータ） (2023-06-21T13:43:59Z) - Constrained Optimization via Exact Augmented Lagrangian and Randomized
Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。
ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-28T06:33:37Z) - A Block Coordinate Descent Method for Nonsmooth Composite Optimization under Orthogonality Constraints [7.9047096855236125]
不等式制約を伴う非滑らかな複合最適化は、統計学習とデータ科学において重要である。
textbfOBCDは、これらの課題に対処するための、実現可能な小さな計算フットプリント手法である。
我々はtextbfOBCD がブロック$k$定常点に収束することを証明する。
論文 参考訳（メタデータ） (2023-04-07T13:44:59Z) - Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-12-19T14:48:54Z) - Provably Efficient Model-Free Constrained RL with Linear Function
Approximation [4.060731229044571]
我々は,大規模システムにおいても,サブリニア後悔とサブリニア制約違反を実現するための,最初のモデルフリーシミュレータフリーアルゴリズムを開発した。
本結果は,標準LSVI-UCBアルゴリズムの新たな適応により達成される。
論文 参考訳（メタデータ） (2022-06-23T17:54:31Z) - Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free
Reinforcement Learning [52.76230802067506]
漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。
提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。
初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
論文 参考訳（メタデータ） (2021-10-09T21:13:48Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z) - Inexact and Stochastic Generalized Conditional Gradient with Augmented
Lagrangian and Proximal Step [2.0196229393131726]
我々は著者の以前の論文で開発されたCGALPアルゴリズムの不正確さとバージョンを分析した。
これにより、いくつかの勾配、項、および/または線形最小化オラクルを不正確な方法で計算することができる。
ラグランジアンのアフィン制約の最適性と実現可能性への収束を示す。
論文 参考訳（メタデータ） (2020-05-11T14:52:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。