論文の概要: Pursuit of a Discriminative Representation for Multiple Subspaces via Sequential Games

• arxiv url: http://arxiv.org/abs/2206.09120v1
• Date: Sat, 18 Jun 2022 05:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 14:25:08.148677
• Title: Pursuit of a Discriminative Representation for Multiple Subspaces via Sequential Games
• Title（参考訳）: 連続ゲームによる複数部分空間の識別的表現の探索
• Authors: Druv Pai, Michael Psenka, Chih-Yuan Chiu, Manxi Wu, Edgar Dobriban, Yi Ma
• Abstract要約: 本研究では,複数の低次元線形部分空間の周辺に分布する高次元空間におけるデータの識別表現を学習する問題を考察する。 我々は最近提案したCTRLフレームワークを用いて、一般的な低次元部分多様体に対する識別的および生成的表現を学習するためのシーケンシャルゲームとしてキャストした。 ゲームに対する平衡解が確かに正しい表現を与えることを証明している。
• 参考スコア（独自算出の注目度）: 24.97589276163507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of learning discriminative representations for data in a high-dimensional space with distribution supported on or around multiple low-dimensional linear subspaces. That is, we wish to compute a linear injective map of the data such that the features lie on multiple orthogonal subspaces. Instead of treating this learning problem using multiple PCAs, we cast it as a sequential game using the closed-loop transcription (CTRL) framework recently proposed for learning discriminative and generative representations for general low-dimensional submanifolds. We prove that the equilibrium solutions to the game indeed give correct representations. Our approach unifies classical methods of learning subspaces with modern deep learning practice, by showing that subspace learning problems may be provably solved using the modern toolkit of representation learning. In addition, our work provides the first theoretical justification for the CTRL framework, in the important case of linear subspaces. We support our theoretical findings with compelling empirical evidence. We also generalize the sequential game formulation to more general representation learning problems. Our code, including methods for easy reproduction of experimental results, is publically available on GitHub.
• Abstract（参考訳）: 本研究では,複数の低次元線形部分空間の周辺に分布する高次元空間におけるデータの識別表現を学習する問題を考える。 すなわち、特徴が複数の直交部分空間上に存在するようなデータの線形単射写像を計算したいということである。 この学習問題を複数のPCAを用いて扱う代わりに、最近提案されたCTRLフレームワークを用いて、一般的な低次元部分多様体に対する識別的および生成的表現を学習するためのシーケンシャルゲームとしてキャストした。 ゲームの均衡解が正しい表現を与えることが証明される。 本手法は,現代的表現学習のツールキットを用いて,サブスペース学習問題を確実に解決できることを示すことにより,現代的深層学習実践とサブスペース学習の古典的手法を統合する。 さらに、我々の研究は線型部分空間の重要な場合において、CTRLフレームワークに対する最初の理論的正当化を提供する。 我々は説得力のある実証的証拠で理論的な発見を支持している。 また、逐次ゲーム定式化をより一般的な表現学習問題に一般化する。 実験結果の再現を容易にするメソッドを含む私たちのコードは、GitHubで公開されています。

関連論文リスト

• A Geometric Notion of Causal Probing [91.14470073637236]
  言語モデルの表現空間では、動詞数のような概念に関するすべての情報が線形部分空間に符号化される。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 LEACEは概念情報の約半分を含む1次元の部分空間を返す。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• Unsupervised Manifold Linearizing and Clustering [19.879641608165887]
  本稿では、データ表現と2重クラスタメンバシップの両方に関して、最大符号化削減度を最適化することを提案する。 CIFAR-10, -20, -100, TinyImageNet-200データセットに対する実験により,提案手法は最先端のディープクラスタリング手法よりもはるかに正確でスケーラブルであることが示された。
  論文  参考訳（メタデータ） (2023-01-04T20:08:23Z)
• Closed-Loop Data Transcription to an LDR via Minimaxing Rate Reduction [27.020835928724775]
  本研究では,実世界のデータセットに対する明示的な生成モデル学習のための新しい計算フレームワークを提案する。 特に,多次元多次元データ分布と特徴空間における線形識別表現(LDR)の間の閉ループ転写を学習することを提案する。 多くのベンチマークデータセットに対する実験は、この新しいクローズドループの定式化の可能性を示している。
  論文  参考訳（メタデータ） (2021-11-12T10:06:08Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• Switch Spaces: Learning Product Spaces with Sparse Gating [48.591045282317424]
  製品空間における表現を学習するためのデータ駆動アプローチであるswitch spacesを提案する。 我々は空間の選択、結合、切り替えを学習するスパースゲーティング機構を導入する。 知識グラフの補完と項目レコメンデーションの実験により,提案したスイッチ空間が新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-02-17T11:06:59Z)
• Introducing Orthogonal Constraint in Structural Probes [0.2538209532048867]
  言語ベクトル空間の線形射影を同型空間回転と線形スケーリング方向に分解する。 提案手法がマルチタスク環境で実行可能であることを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-30T17:14:25Z)
• Joint and Progressive Subspace Analysis (JPSA) with Spatial-Spectral Manifold Alignment for Semi-Supervised Hyperspectral Dimensionality Reduction [48.73525876467408]
  本稿では,超スペクトル部分空間解析のための新しい手法を提案する。 この手法はジョイント・アンド・プログレッシブ・サブスペース分析(JPSA)と呼ばれる。 2つの広帯域超スペクトルデータセットに対して提案したJPSAの優位性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-09-21T16:29:59Z)
• FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs [53.710405006523274]
  この研究は、表現学習の問題に焦点を当てている。 基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。 低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
  論文  参考訳（メタデータ） (2020-06-18T19:11:18Z)
• Robust Large-Margin Learning in Hyperbolic Space [64.42251583239347]
  ユークリッド空間ではなく双曲型で分類器を学ぶための最初の理論的保証を示す。 本研究では, 対向例の慎重な注入に頼って, 大面積超平面を効率よく学習するアルゴリズムを提案する。 双曲空間によく埋め込まれる階層的データに対して、低埋め込み次元は優れた保証を保証することを証明している。
  論文  参考訳（メタデータ） (2020-04-11T19:11:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。