論文の概要: Tangling-Untangling Cycle for Efficient Learning

• arxiv url: http://arxiv.org/abs/2404.05484v1
• Date: Mon, 8 Apr 2024 13:06:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 14:25:08.881643
• Title: Tangling-Untangling Cycle for Efficient Learning
• Title（参考訳）: 効率的な学習のためのタングルアンタングリングサイクル
• Authors: Xin Li,
• Abstract要約: より高次元空間において、その広さのために低次元多様体を解き放つことがより容易であることを示す。 新しい洞察は、引き上げられた高次元空間における文脈変数としてクラスラベルを導入することである。 タングリング・ハングリング・サイクル (TUC) として知られる、タングリング・ハングリング作用素とタングリング作用素のペアを構築する。
• 参考スコア（独自算出の注目度）: 5.234742752529437
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The conventional wisdom of manifold learning is based on nonlinear dimensionality reduction techniques such as IsoMAP and locally linear embedding (LLE). We challenge this paradigm by exploiting the blessing of dimensionality. Our intuition is simple: it is easier to untangle a low-dimensional manifold in a higher-dimensional space due to its vastness, as guaranteed by Whitney embedding theorem. A new insight brought by this work is to introduce class labels as the context variables in the lifted higher-dimensional space (so supervised learning becomes unsupervised learning). We rigorously show that manifold untangling leads to linearly separable classifiers in the lifted space. To correct the inevitable overfitting, we consider the dual process of manifold untangling -- tangling or aliasing -- which is important for generalization. Using context as the bonding element, we construct a pair of manifold untangling and tangling operators, known as tangling-untangling cycle (TUC). Untangling operator maps context-independent representations (CIR) in low-dimensional space to context-dependent representations (CDR) in high-dimensional space by inducing context as hidden variables. The tangling operator maps CDR back to CIR by a simple integral transformation for invariance and generalization. We also present the hierarchical extensions of TUC based on the Cartesian product and the fractal geometry. Despite the conceptual simplicity, TUC admits a biologically plausible and energy-efficient implementation based on the time-locking behavior of polychronization neural groups (PNG) and sleep-wake cycle (SWC). The TUC-based theory applies to the computational modeling of various cognitive functions by hippocampal-neocortical systems.
• Abstract（参考訳）: 従来の多様体学習の知恵は、イソマップや局所線形埋め込み(LLE)のような非線形次元減少技術に基づいている。 我々は次元の祝福を生かしてこのパラダイムに挑戦する。 我々の直観は単純で、ホイットニー埋め込み定理によって保証されるように、高次元空間において低次元多様体をその広さのために解けるのは容易である。 この研究で得られた新たな洞察は、高次元空間の文脈変数としてクラスラベルを導入することである(教師なし学習は教師なし学習になる)。 我々は、多様体のアンタングリングが、持ち上げ空間において線型分離可能な分類器につながることを厳密に示している。 必然的なオーバーフィッティングを修正するために、一般化にとって重要な多様体のアンタングリング (unangling) あるいはエイリアスリング (aliasing) の双対過程を考える。 コンテキストを結合要素として用いることで、タングリング・タングリング・サイクル (TUC) として知られる一対の多様体のハングリングおよびタングリング作用素を構築する。 アンタングリング作用素は、文脈を隠れ変数として誘導することにより、低次元空間における文脈非依存表現(CIR)を高次元空間における文脈依存表現(CDR)にマッピングする。 接作用素は、不変性と一般化のための単純な積分変換により CDR を CIR に写像する。 また、カルト積とフラクタル幾何に基づくTUCの階層的拡張も提示する。 概念的単純さにもかかわらず、TUCは、PNG(Polychronization Neural Group)とSWC(Sleep-wake cycle)の時間同期行動に基づく生物学的に妥当でエネルギー効率のよい実装を認めている。 TUCに基づく理論は、海馬-大脳皮質系による様々な認知機能の計算モデルに適用される。

関連論文リスト

• Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• An Overlooked Role of Context-Sensitive Dendrites [2.225268436173329]
  コンテクスト感受性 (CS-TPN) は, CモーメントとFFソマティック電流を柔軟に統合できることが示唆された。 これにより、よりコヒーレントな信号(バースト)の伝播が可能になり、より少ないニューロンで学習を速くする。
  論文  参考訳（メタデータ） (2024-08-20T17:18:54Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• Inferring Inference [7.11780383076327]
  我々は,大規模神経活動パターンから標準分散計算を推定するフレームワークを開発した。 確率的グラフィカルモデルに近似推論アルゴリズムを暗黙的に実装したモデル脳のための記録をシミュレートする。 全体として、このフレームワークはニューラル記録の解釈可能な構造を発見するための新しいツールを提供する。
  論文  参考訳（メタデータ） (2023-10-04T22:12:11Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• A probabilistic latent variable model for detecting structure in binary data [0.6767885381740952]
  スパースバイナリデータにおけるパターンの雑音や近似的な繰り返しを検出するために,新しい確率的二項潜在変数モデルを導入する。 モデルの能力は、網膜ニューロンから記録された構造を抽出することによって示される。 映画刺激時の網膜神経節細胞に記録されたスパイク応答に本モデルを適用した。
  論文  参考訳（メタデータ） (2022-01-26T18:37:35Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• From internal models toward metacognitive AI [0.0]
  前頭前皮質では、「認知現実監視ネットワーク」と呼ばれる分散型エグゼクティブネットワークが、生成的逆モデルペアの意識的な関与を編成する。 高い責任信号は、外界を最も捉えているペアに与えられる。 意識はすべての対における責任信号のエントロピーによって決定される。
  論文  参考訳（メタデータ） (2021-09-27T05:00:56Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。