論文の概要: Efficient Similarity-Preserving Unsupervised Learning using Modular
Sparse Distributed Codes and Novelty-Contingent Noise
- arxiv url: http://arxiv.org/abs/2010.10926v1
- Date: Mon, 19 Oct 2020 17:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 20:39:02.247814
- Title: Efficient Similarity-Preserving Unsupervised Learning using Modular
Sparse Distributed Codes and Novelty-Contingent Noise
- Title（参考訳）: モジュラースパース分散符号とノベルティコンティンジェントノイズを用いた効率的類似性保存型教師なし学習
- Authors: Rod Rinkus
- Abstract要約: 2つの質問に対して、単純で神経的に妥当な回答を提供する新しいモジュールスパース分散コード(MSDC)について説明する。
MSDC符号場(CF)はQ WTA競合モジュール(CM)からなる。
CFのモジュラー性は、ほぼ類似性を保った単項の教師なし学習アルゴリズムを可能にする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: There is increasing realization in neuroscience that information is
represented in the brain, e.g., neocortex, hippocampus, in the form sparse
distributed codes (SDCs), a kind of cell assembly. Two essential questions are:
a) how are such codes formed on the basis of single trials, and how is
similarity preserved during learning, i.e., how do more similar inputs get
mapped to more similar SDCs. I describe a novel Modular Sparse Distributed Code
(MSDC) that provides simple, neurally plausible answers to both questions. An
MSDC coding field (CF) consists of Q WTA competitive modules (CMs), each
comprised of K binary units (analogs of principal cells). The modular nature of
the CF makes possible a single-trial, unsupervised learning algorithm that
approximately preserves similarity and crucially, runs in fixed time, i.e., the
number of steps needed to store an item remains constant as the number of
stored items grows. Further, once items are stored as MSDCs in superposition
and such that their intersection structure reflects input similarity, both
fixed time best-match retrieval and fixed time belief update (updating the
probabilities of all stored items) also become possible. The algorithm's core
principle is simply to add noise into the process of choosing a code, i.e.,
choosing a winner in each CM, which is proportional to the novelty of the
input. This causes the expected intersection of the code for an input, X, with
the code of each previously stored input, Y, to be proportional to the
similarity of X and Y. Results demonstrating these capabilities for spatial
patterns are given in the appendix.
- Abstract（参考訳）: 神経科学において、情報は脳内で、例えば、新皮質、海馬などの情報をスパース分散コード(sparse distributed codes, SDCs)という形で表現されることが認識されている。
a) このようなコードは単一の試行に基づいてどのように構成されているか、学習中にどのように類似性が保存されているか、すなわち、より類似した入力がより類似したSDCにどのようにマッピングされるか。
私は、両方の質問に対して単純で神経的に妥当な回答を提供する新しいモジュールスパース分散コード(MSDC)について説明する。
MSDC符号化フィールド(CF)はQ WTA競合モジュール(CM)で構成され、それぞれがKバイナリユニット(主細胞のアナログ)から構成される。
cfのモジュラー性により、類似性がほぼ保たれ、最も重要なことは、アイテムを格納するために必要なステップの数は、格納されたアイテムの数が増えるにつれて一定のままである。
さらに、重ね合わせでMSDCとしてアイテムを格納し、それらの交差構造が入力類似性を反映するようにすると、固定時間ベストマッチ検索と固定時間信頼更新(すべての格納アイテムの確率の上昇)も可能となる。
アルゴリズムの中核となる原理は、単にコードを選択するプロセスにノイズを加えることであり、すなわち入力の新規性に比例する各CMの勝者を選択することである。
これにより、予め格納された各入力Yのコードと入力Xのコードとが、XとYの類似性に比例する期待の交わりが生じる。
関連論文リスト
- Advanced Detection of Source Code Clones via an Ensemble of Unsupervised Similarity Measures [0.0]
本研究では,コード類似度評価のための新しいアンサンブル学習手法を提案する。
鍵となる考え方は、様々な類似度尺度の強みが互いに補完し、個々の弱点を軽減することである。
論文 参考訳（メタデータ） (2024-05-03T13:42:49Z) - Linear Codes for Hyperdimensional Computing [9.7902367664742]
ランダムな線形符号は、キー-値ストアを形成するために使用できるリッチなサブコード構造を提供する。
筆者らが開発しているフレームワークでは、ランダムな線形符号は単純なリカバリアルゴリズムを(束縛あるいは束縛された)構成表現に含めていることが示される。
論文 参考訳（メタデータ） (2024-03-05T19:18:44Z) - Spherical and Hyperbolic Toric Topology-Based Codes On Graph Embedding
for Ising MRF Models: Classical and Quantum Topology Machine Learning [0.11805137592431453]
本稿では,Isingモデルの基底状態を記述するための情報幾何学の適用について紹介する。
このアプローチは、機械学習とエラー訂正コーディングの関連性を確立する。
論文 参考訳（メタデータ） (2023-07-28T19:38:13Z) - Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference
of Deep Learning [5.41530201129053]
本稿では,新しい暗記ベース推論(MBI)を提案する。
具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。
低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。
計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
論文 参考訳（メタデータ） (2023-07-14T21:01:59Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳（メタデータ） (2023-06-27T16:59:06Z) - Quick Adaptive Ternary Segmentation: An Efficient Decoding Procedure For
Hidden Markov Models [70.26374282390401]
ノイズの多い観測から元の信号(すなわち隠れ鎖)を復号することは、ほぼすべてのHMMに基づくデータ分析の主要な目標の1つである。
本稿では,多対数計算複雑性において隠れた列を復号化するための分法であるQuick Adaptive Ternary(QATS)を提案する。
論文 参考訳（メタデータ） (2023-05-29T19:37:48Z) - Learning Hidden Markov Models Using Conditional Samples [72.20944611510198]
本稿では,隠れマルコフモデル(HMM)の学習における計算複雑性について述べる。
本稿では,HMMの条件分布からサンプルを問合せする対話型アクセスモデルを提案する。
具体的には、正確な条件付き確率に対するクエリアクセスが可能な設定において、HMMを学習するための効率的なアルゴリズムを得る。
論文 参考訳（メタデータ） (2023-02-28T16:53:41Z) - Unsupervised Hashing with Similarity Distribution Calibration [127.34239817201549]
教師なしハッシュ法は、特徴空間内のデータポイント間の類似性をバイナリハッシュコードにマッピングすることで保存することを目的としている。
これらの方法は、連続的な特徴空間におけるデータポイント間の類似性が離散的なハッシュコード空間に保存されないという事実をしばしば見落としている。
類似性範囲はコードの長さによって制限され、類似性崩壊と呼ばれる問題を引き起こす可能性がある。
本稿では,この問題を緩和する新しい類似度分布法を提案する。
論文 参考訳（メタデータ） (2023-02-15T14:06:39Z) - Neural Distributed Source Coding [59.630059301226474]
相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。
提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
論文 参考訳（メタデータ） (2021-06-05T04:50:43Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。