論文の概要: Efficient Alternating Minimization Solvers for Wyner Multi-View
Unsupervised Learning
- arxiv url: http://arxiv.org/abs/2303.15866v2
- Date: Wed, 26 Apr 2023 11:36:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 17:19:07.075186
- Title: Efficient Alternating Minimization Solvers for Wyner Multi-View
Unsupervised Learning
- Title(参考訳): ワイナー多視点教師なし学習のための効率的な交代最小化解法
- Authors: Teng-Hui Huang and Hesham El Gamal
- Abstract要約: 本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。
提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we adopt Wyner common information framework for unsupervised
multi-view representation learning. Within this framework, we propose two novel
formulations that enable the development of computational efficient solvers
based on the alternating minimization principle. The first formulation,
referred to as the {\em variational form}, enjoys a linearly growing complexity
with the number of views and is based on a variational-inference tight
surrogate bound coupled with a Lagrangian optimization objective function. The
second formulation, i.e., the {\em representational form}, is shown to include
known results as special cases. Here, we develop a tailored version from the
alternating direction method of multipliers (ADMM) algorithm for solving the
resulting non-convex optimization problem. In the two cases, the convergence of
the proposed solvers is established in certain relevant regimes. Furthermore,
our empirical results demonstrate the effectiveness of the proposed methods as
compared with the state-of-the-art solvers. In a nutshell, the proposed solvers
offer computational efficiency, theoretical convergence guarantees (local
minima), scalable complexity with the number of views, and exceptional accuracy
as compared with the state-of-the-art techniques. Our focus here is devoted to
the discrete case and our results for continuous distributions are reported
elsewhere.
- Abstract(参考訳): 本研究では,教師なし多視点表現学習にWyner共通情報フレームワークを採用する。
本枠組みでは, 交代最小化原理に基づく計算効率の高い解法の開発を可能にする2つの新しい定式化を提案する。
第1の定式化は「変分形式」と呼ばれ、ビューの数とともに線形に増大する複雑性を享受し、ラグランジュ最適化目的関数と結合した変分推論の強い代理関数に基づいている。
第2の定式化、すなわち表現形式は、特別な場合として既知の結果を含むことが示されている。
そこで本研究では,非凸最適化問題の解法として,乗算器の交互方向法(ADMM)アルゴリズムを用いた調整版を開発する。
二つの場合において、提案する解法の収束は、ある関係の領域において確立される。
さらに,提案手法の有効性を,最先端解法との比較により実証した。
簡単に言うと、提案する解法は計算効率、理論的収束保証(ローカルミニマ)、拡張性のあるビュー数による複雑さ、最先端技術と比較して非常に精度が高い。
ここでの私たちの焦点は離散的なケースに当てられ、連続分布に対する結果が他の場所で報告されます。
関連論文リスト
- Learning Constrained Optimization with Deep Augmented Lagrangian Methods [60.94111369773497]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳(メタデータ) (2024-03-06T04:43:22Z) - Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。
汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。
我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
論文 参考訳(メタデータ) (2023-10-10T01:39:04Z) - Moreau-Yoshida Variational Transport: A General Framework For Solving
Regularized Distributional Optimization Problems [4.835289158553091]
クラス確率分布上に定義された複合目的関数を最小化する一般的な最適化問題を考える。
本稿では,正規分布最適化問題の解法として,モロー・吉田変分輸送(MYVT)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-31T01:14:42Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳(メタデータ) (2023-02-24T18:41:48Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - SCORE: Approximating Curvature Information under Self-Concordant
Regularization [0.0]
本稿では,新たな入力を受信するたびに最小化速度を更新する自己調和正規化アルゴリズム(GGN-SCORE)を提案する。
提案アルゴリズムはヘッセン行列の2階情報構造を利用して計算オーバーヘッドを削減する。
論文 参考訳(メタデータ) (2021-12-14T13:03:04Z) - Efficient Consensus Model based on Proximal Gradient Method applied to
Convolutional Sparse Problems [2.335152769484957]
我々は、勾配近似(PG)アプローチに基づく効率的なコンセンサスアルゴリズムの理論解析を導出し、詳述する。
提案アルゴリズムは、異常検出タスクに対する別の特別な畳み込み問題にも適用できる。
論文 参考訳(メタデータ) (2020-11-19T20:52:48Z) - Rule-based Bayesian regression [0.90238471756546]
回帰問題に対処する新しいルールベースのアプローチを導入する。
新しい手法は2つの枠組みから成り立っている: (i)ベイズ的推論を用いて利害パラメータの不確実性に関する情報を提供する; (ii)ルールベースのシステムを通じて専門家の知識を組み込むことを可能にする。
論文 参考訳(メタデータ) (2020-08-02T07:20:45Z) - Adaptive Discretization for Model-Based Reinforcement Learning [10.21634042036049]
本稿では,適応離散化手法を導入し,効率的なモデルに基づくエピソード強化学習アルゴリズムを設計する。
我々のアルゴリズムは、空間の適応的な離散化を維持するために拡張された楽観的なワンステップ値反復に基づいている。
論文 参考訳(メタデータ) (2020-07-01T19:36:46Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。