論文の概要: A Generalized EigenGame with Extensions to Multiview Representation Learning

• arxiv url: http://arxiv.org/abs/2211.11323v1
• Date: Mon, 21 Nov 2022 10:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 18:36:51.994051
• Title: A Generalized EigenGame with Extensions to Multiview Representation Learning
• Title（参考訳）: 多視点表現学習の拡張を用いた汎用固有ゲーム
• Authors: James Chapman, Ana Lawry Aguila, Lennie Wells
• Abstract要約: 一般化固有値問題(GEPs)は、様々な興味深い次元減少法を含んでいる。 我々は、ラグランジュ乗算器によって全ての制約がソフトに強制されるGEPの解法を開発する。 線形の場合、我々のアプローチは、以前のヘビアンとゲーム理論のアプローチの理論的根拠の多くを共有していることを示す。 標準マルチビューデータセットの設定におけるGEPの解法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 0.28647133890966997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalized Eigenvalue Problems (GEPs) encompass a range of interesting dimensionality reduction methods. Development of efficient stochastic approaches to these problems would allow them to scale to larger datasets. Canonical Correlation Analysis (CCA) is one example of a GEP for dimensionality reduction which has found extensive use in problems with two or more views of the data. Deep learning extensions of CCA require large mini-batch sizes, and therefore large memory consumption, in the stochastic setting to achieve good performance and this has limited its application in practice. Inspired by the Generalized Hebbian Algorithm, we develop an approach to solving stochastic GEPs in which all constraints are softly enforced by Lagrange multipliers. Then by considering the integral of this Lagrangian function, its pseudo-utility, and inspired by recent formulations of Principal Components Analysis and GEPs as games with differentiable utilities, we develop a game-theory inspired approach to solving GEPs. We show that our approaches share much of the theoretical grounding of the previous Hebbian and game theoretic approaches for the linear case but our method permits extension to general function approximators like neural networks for certain GEPs for dimensionality reduction including CCA which means our method can be used for deep multiview representation learning. We demonstrate the effectiveness of our method for solving GEPs in the stochastic setting using canonical multiview datasets and demonstrate state-of-the-art performance for optimizing Deep CCA.
• Abstract（参考訳）: 一般化固有値問題(GEPs)は、様々な興味深い次元減少法を含んでいる。 これらの問題に対する効率的な確率的アプローチの開発は、より大きなデータセットにスケールできるだろう。 標準相関解析(CCA)は次元減少のためのGEPの例の一つであり、データの2つ以上のビューの問題に広く利用されている。 CCAの深層学習拡張には、大きなミニバッチサイズが必要であり、そのため、性能向上のために確率的に大きなメモリ消費が必要である。 一般化ヘビアンアルゴリズムにインスパイアされた我々は、全ての制約がラグランジュ乗算器によってソフトに強制される確率的GEPの解法を開発する。 そして,このラグランジアン関数の積分,擬似効用,および近年の主成分分析と GEP を多目的効用を持つゲームとして定式化したことにより,GEP を解くためのゲーム理論的なアプローチを開発する。 提案手法は,線形ケースに対する従来のヘビアン理論とゲーム理論のアプローチの理論的根拠の多くを共有しているが,ニューラルネットワークのような一般関数近似器への拡張を許容し,CCAを含む次元還元を可能とし,深層多視点表現学習に利用できることを示す。 我々は,標準マルチビューデータセットを用いた確率的設定におけるGEPの解法の有効性を実証し,Deep CCAを最適化するための最先端性能を示す。

関連論文リスト

• $ψ$DAG: Projected Stochastic Approximation Iteration for DAG Structure Learning [6.612096312467342]
  Directed A Graphs (DAGs) の構造を学ぶことは、ノード数に応じてスケールする可能なグラフの巨大な検索空間のため、大きな課題となる。 近年の進歩は、微分可能指数関数性制約を取り入れた連続最適化タスクとしてこの問題を再定義している。 本稿では,SGD(Gradient Descent)に基づく最適化手法と統合した近似手法を用いて,DAGを学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T12:13:11Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Gaussian Ensemble Belief Propagation for Efficient Inference in High-Dimensional Systems [3.6773638205393198]
  高次元モデルにおける効率的な推論は、機械学習における中心的な課題である。 本稿では Ensemble Kalman Filter (EnKF) と Gaussian Belief Propagation (GaBP) を紹介する。 GEnBPは、グラフィカルモデルのエッジに低ランクのローカルメッセージを渡すことで、先行サンプルのアンサンブルを後続サンプルに更新する。
  論文  参考訳（メタデータ） (2024-02-13T03:31:36Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Joint Graph Learning and Model Fitting in Laplacian Regularized Stratified Models [5.933030735757292]
  ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。 本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。 本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T06:06:29Z)
• Meta-learning Feature Representations for Adaptive Gaussian Processes via Implicit Differentiation [1.5293427903448025]
  メタラーニングと従来の学習の補間により深層カーネルを学習するための一般的なフレームワークを提案する。 ADKFは完全に一般的な方法であるが、薬物発見問題に特に適していると論じる。
  論文  参考訳（メタデータ） (2022-05-05T15:26:53Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)
• Intrinsic Gaussian Processes on Manifolds and Their Accelerations by Symmetry [9.773237080061815]
  既存の手法は主に熱核推定のための低次元制約領域に焦点を当てている。 本研究は一般方程式上でGPを構築するための本質的なアプローチを提案する。 本手法は指数写像を用いてブラウン運動サンプル経路をシミュレーションすることにより熱核を推定する。
  論文  参考訳（メタデータ） (2020-06-25T09:17:40Z)
• Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
  グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく 我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。 EGAEは1つのエンコーダと2つのデコーダで構成される。
  論文  参考訳（メタデータ） (2020-02-20T09:53:28Z)
• Polynomial-Time Exact MAP Inference on Discrete Models with Global Dependencies [83.05591911173332]
  ジャンクションツリーアルゴリズムは、実行時の保証と正確なMAP推論のための最も一般的な解である。 本稿では,ノードのクローン化による新たなグラフ変換手法を提案する。
  論文  参考訳（メタデータ） (2019-12-27T13:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。