論文の概要: Tangling-Untangling Cycle for Efficient Learning
- arxiv url: http://arxiv.org/abs/2404.05484v1
- Date: Mon, 8 Apr 2024 13:06:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 14:25:08.881643
- Title: Tangling-Untangling Cycle for Efficient Learning
- Title(参考訳): 効率的な学習のためのタングルアンタングリングサイクル
- Authors: Xin Li,
- Abstract要約: より高次元空間において、その広さのために低次元多様体を解き放つことがより容易であることを示す。
新しい洞察は、引き上げられた高次元空間における文脈変数としてクラスラベルを導入することである。
タングリング・ハングリング・サイクル (TUC) として知られる、タングリング・ハングリング作用素とタングリング作用素のペアを構築する。
- 参考スコア(独自算出の注目度): 5.234742752529437
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The conventional wisdom of manifold learning is based on nonlinear dimensionality reduction techniques such as IsoMAP and locally linear embedding (LLE). We challenge this paradigm by exploiting the blessing of dimensionality. Our intuition is simple: it is easier to untangle a low-dimensional manifold in a higher-dimensional space due to its vastness, as guaranteed by Whitney embedding theorem. A new insight brought by this work is to introduce class labels as the context variables in the lifted higher-dimensional space (so supervised learning becomes unsupervised learning). We rigorously show that manifold untangling leads to linearly separable classifiers in the lifted space. To correct the inevitable overfitting, we consider the dual process of manifold untangling -- tangling or aliasing -- which is important for generalization. Using context as the bonding element, we construct a pair of manifold untangling and tangling operators, known as tangling-untangling cycle (TUC). Untangling operator maps context-independent representations (CIR) in low-dimensional space to context-dependent representations (CDR) in high-dimensional space by inducing context as hidden variables. The tangling operator maps CDR back to CIR by a simple integral transformation for invariance and generalization. We also present the hierarchical extensions of TUC based on the Cartesian product and the fractal geometry. Despite the conceptual simplicity, TUC admits a biologically plausible and energy-efficient implementation based on the time-locking behavior of polychronization neural groups (PNG) and sleep-wake cycle (SWC). The TUC-based theory applies to the computational modeling of various cognitive functions by hippocampal-neocortical systems.
- Abstract(参考訳): 従来の多様体学習の知恵は、イソマップや局所線形埋め込み(LLE)のような非線形次元減少技術に基づいている。
我々は次元の祝福を生かしてこのパラダイムに挑戦する。
我々の直観は単純で、ホイットニー埋め込み定理によって保証されるように、高次元空間において低次元多様体をその広さのために解けるのは容易である。
この研究で得られた新たな洞察は、高次元空間の文脈変数としてクラスラベルを導入することである(教師なし学習は教師なし学習になる)。
我々は、多様体のアンタングリングが、持ち上げ空間において線型分離可能な分類器につながることを厳密に示している。
必然的なオーバーフィッティングを修正するために、一般化にとって重要な多様体のアンタングリング (unangling) あるいはエイリアスリング (aliasing) の双対過程を考える。
コンテキストを結合要素として用いることで、タングリング・タングリング・サイクル (TUC) として知られる一対の多様体のハングリングおよびタングリング作用素を構築する。
アンタングリング作用素は、文脈を隠れ変数として誘導することにより、低次元空間における文脈非依存表現(CIR)を高次元空間における文脈依存表現(CDR)にマッピングする。
接作用素は、不変性と一般化のための単純な積分変換により CDR を CIR に写像する。
また、カルト積とフラクタル幾何に基づくTUCの階層的拡張も提示する。
概念的単純さにもかかわらず、TUCは、PNG(Polychronization Neural Group)とSWC(Sleep-wake cycle)の時間同期行動に基づく生物学的に妥当でエネルギー効率のよい実装を認めている。
TUCに基づく理論は、海馬-大脳皮質系による様々な認知機能の計算モデルに適用される。
関連論文リスト
- Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive
Learning [69.6810940330906]
高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳(メタデータ) (2023-10-27T15:31:42Z) - Supervised Manifold Learning via Random Forest Geometry-Preserving
Proximities [0.0]
クラス条件付き多様体学習手法の弱点を定量的かつ視覚的に示す。
本稿では,ランダムな森の近さをデータジオメトリ保存した変種を用いて,教師付き次元減少のためのカーネルの代替選択を提案する。
論文 参考訳(メタデータ) (2023-07-03T14:55:11Z) - A Heat Diffusion Perspective on Geodesic Preserving Dimensionality
Reduction [66.21060114843202]
熱測地線埋め込みと呼ばれるより一般的な熱カーネルベースの多様体埋め込み法を提案する。
その結果,本手法は,地中真理多様体距離の保存において,既存の技術よりも優れていることがわかった。
また,連続体とクラスタ構造を併用した単一セルRNAシークエンシングデータセットに本手法を適用した。
論文 参考訳(メタデータ) (2023-05-30T13:58:50Z) - Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back [84.61160272624262]
この畳み込み操作に基づいて,タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。
タンジェントバンドルフィルタは、スカラー多様体フィルタ、グラフフィルタ、標準畳み込みフィルタを連続的に一般化するスペクトル表現を許容する。
提案したアーキテクチャが様々な学習課題に与える影響を数値的に評価する。
論文 参考訳(メタデータ) (2023-03-20T17:57:15Z) - Toward a Geometric Theory of Manifold Untangling [12.229735866373073]
我々は、距離距離計量を人工的に定義することなく、位相空間において非自在な多様体に対するより一般的な解が存在すると推測する。
大域的多様体埋め込みと局所的多様体平坦化の両方の一般的な戦略を提示し、画像、音声、言語データのアンハングリングに関する既存の研究と結びつけた。
論文 参考訳(メタデータ) (2023-03-07T19:47:01Z) - High-dimensional separability for one- and few-shot learning [58.8599521537]
この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。
特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。
AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
論文 参考訳(メタデータ) (2021-06-28T14:58:14Z) - Deep Learning of Conjugate Mappings [2.9097303137825046]
Henri Poincar'eは、連続フローの連続反復を低次元の横断的な部分空間で追跡することによって、最初に接続した。
本研究では,深層学習を用いて可逆座標変換を共役表現に変換することにより,明示的なポアンカー写像の取得方法を提案する。
論文 参考訳(メタデータ) (2021-04-01T16:29:41Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - Manifold Learning via Manifold Deflation [105.7418091051558]
次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。
多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。
本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。
実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
論文 参考訳(メタデータ) (2020-07-07T10:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。