論文の概要: A Generalized EigenGame with Extensions to Multiview Representation
Learning
- arxiv url: http://arxiv.org/abs/2211.11323v1
- Date: Mon, 21 Nov 2022 10:11:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 18:36:51.994051
- Title: A Generalized EigenGame with Extensions to Multiview Representation
Learning
- Title(参考訳): 多視点表現学習の拡張を用いた汎用固有ゲーム
- Authors: James Chapman, Ana Lawry Aguila, Lennie Wells
- Abstract要約: 一般化固有値問題(GEPs)は、様々な興味深い次元減少法を含んでいる。
我々は、ラグランジュ乗算器によって全ての制約がソフトに強制されるGEPの解法を開発する。
線形の場合、我々のアプローチは、以前のヘビアンとゲーム理論のアプローチの理論的根拠の多くを共有していることを示す。
標準マルチビューデータセットの設定におけるGEPの解法の有効性を実証する。
- 参考スコア(独自算出の注目度): 0.28647133890966997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalized Eigenvalue Problems (GEPs) encompass a range of interesting
dimensionality reduction methods. Development of efficient stochastic
approaches to these problems would allow them to scale to larger datasets.
Canonical Correlation Analysis (CCA) is one example of a GEP for dimensionality
reduction which has found extensive use in problems with two or more views of
the data. Deep learning extensions of CCA require large mini-batch sizes, and
therefore large memory consumption, in the stochastic setting to achieve good
performance and this has limited its application in practice. Inspired by the
Generalized Hebbian Algorithm, we develop an approach to solving stochastic
GEPs in which all constraints are softly enforced by Lagrange multipliers. Then
by considering the integral of this Lagrangian function, its pseudo-utility,
and inspired by recent formulations of Principal Components Analysis and GEPs
as games with differentiable utilities, we develop a game-theory inspired
approach to solving GEPs. We show that our approaches share much of the
theoretical grounding of the previous Hebbian and game theoretic approaches for
the linear case but our method permits extension to general function
approximators like neural networks for certain GEPs for dimensionality
reduction including CCA which means our method can be used for deep multiview
representation learning. We demonstrate the effectiveness of our method for
solving GEPs in the stochastic setting using canonical multiview datasets and
demonstrate state-of-the-art performance for optimizing Deep CCA.
- Abstract(参考訳): 一般化固有値問題(GEPs)は、様々な興味深い次元減少法を含んでいる。
これらの問題に対する効率的な確率的アプローチの開発は、より大きなデータセットにスケールできるだろう。
標準相関解析(CCA)は次元減少のためのGEPの例の一つであり、データの2つ以上のビューの問題に広く利用されている。
CCAの深層学習拡張には、大きなミニバッチサイズが必要であり、そのため、性能向上のために確率的に大きなメモリ消費が必要である。
一般化ヘビアンアルゴリズムにインスパイアされた我々は、全ての制約がラグランジュ乗算器によってソフトに強制される確率的GEPの解法を開発する。
そして,このラグランジアン関数の積分,擬似効用,および近年の主成分分析と GEP を多目的効用を持つゲームとして定式化したことにより,GEP を解くためのゲーム理論的なアプローチを開発する。
提案手法は,線形ケースに対する従来のヘビアン理論とゲーム理論のアプローチの理論的根拠の多くを共有しているが,ニューラルネットワークのような一般関数近似器への拡張を許容し,CCAを含む次元還元を可能とし,深層多視点表現学習に利用できることを示す。
我々は,標準マルチビューデータセットを用いた確率的設定におけるGEPの解法の有効性を実証し,Deep CCAを最適化するための最先端性能を示す。
関連論文リスト
- Distributional Reduction: Unifying Dimensionality Reduction and
Clustering with Gromov-Wasserstein Projection [50.51460159104604]
教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。
伝統的に、これは次元還元法を用いて解釈可能な空間にデータを投影したり、意味のあるクラスタにポイントを整理する。
私たちは新しい視点 – 流通の視点 – を提供しています。
我々はクラスタリングと次元還元を分散還元と呼ばれる単一のフレームワークに統合する。
論文 参考訳(メタデータ) (2024-02-03T19:00:19Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - Joint Graph Learning and Model Fitting in Laplacian Regularized
Stratified Models [5.933030735757292]
ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。
本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。
本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
論文 参考訳(メタデータ) (2023-05-04T06:06:29Z) - Implicit Semantic Augmentation for Distance Metric Learning in Domain
Generalization [25.792285194055797]
ドメイン一般化(DG)は、1つ以上の異なるが関連するソースドメインのモデルを、目に見えないターゲットドメインに一般化することを目的としている。
既存のDG手法は、モデルの一般化能力のために、ソースドメインの多様性を促進する。
この研究は、特徴空間における暗黙のセマンティック拡張を適用して、ソースドメインの多様性を捉える。
論文 参考訳(メタデータ) (2022-08-02T11:37:23Z) - Meta-learning Feature Representations for Adaptive Gaussian Processes
via Implicit Differentiation [1.5293427903448025]
メタラーニングと従来の学習の補間により深層カーネルを学習するための一般的なフレームワークを提案する。
ADKFは完全に一般的な方法であるが、薬物発見問題に特に適していると論じる。
論文 参考訳(メタデータ) (2022-05-05T15:26:53Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳(メタデータ) (2021-04-12T16:23:37Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - Intrinsic Gaussian Processes on Manifolds and Their Accelerations by
Symmetry [9.773237080061815]
既存の手法は主に熱核推定のための低次元制約領域に焦点を当てている。
本研究は一般方程式上でGPを構築するための本質的なアプローチを提案する。
本手法は指数写像を用いてブラウン運動サンプル経路をシミュレーションすることにより熱核を推定する。
論文 参考訳(メタデータ) (2020-06-25T09:17:40Z) - Multi-Fidelity High-Order Gaussian Processes for Physical Simulation [24.033468062984458]
高忠実度偏微分方程式(PDE)は低忠実度偏微分方程式よりも高価である。
複雑な相関関係を捉えることができるMFHoGP(Multi-Fidelity High-Order Gaussian Process)を提案する。
MFHoGPは、情報を融合するために基礎を伝播し、基礎重みよりも先に深い行列GPを配置する。
論文 参考訳(メタデータ) (2020-06-08T22:31:59Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳(メタデータ) (2020-02-20T09:53:28Z) - Polynomial-Time Exact MAP Inference on Discrete Models with Global
Dependencies [83.05591911173332]
ジャンクションツリーアルゴリズムは、実行時の保証と正確なMAP推論のための最も一般的な解である。
本稿では,ノードのクローン化による新たなグラフ変換手法を提案する。
論文 参考訳(メタデータ) (2019-12-27T13:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。