論文の概要: Analyzing the Capacity of Distributed Vector Representations to Encode
Spatial Information
- arxiv url: http://arxiv.org/abs/2010.00055v1
- Date: Wed, 30 Sep 2020 18:49:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 23:43:41.594822
- Title: Analyzing the Capacity of Distributed Vector Representations to Encode
Spatial Information
- Title(参考訳): 空間情報符号化のための分散ベクトル表現能力の解析
- Authors: Florian Mirus, Terrence C. Stewart, Jorg Conradt
- Abstract要約: 空間情報をエンコードする共起力を含む単純な重ね合わせとより複雑な構造表現に焦点をあてる。
2つの実験で、1つのベクトルに効率的に格納できる概念の数について上限を求める。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vector Symbolic Architectures belong to a family of related cognitive
modeling approaches that encode symbols and structures in high-dimensional
vectors. Similar to human subjects, whose capacity to process and store
information or concepts in short-term memory is subject to numerical
restrictions,the capacity of information that can be encoded in such vector
representations is limited and one way of modeling the numerical restrictions
to cognition. In this paper, we analyze these limits regarding information
capacity of distributed representations. We focus our analysis on simple
superposition and more complex, structured representations involving
convolutive powers to encode spatial information. In two experiments, we find
upper bounds for the number of concepts that can effectively be stored in a
single vector.
- Abstract(参考訳): ベクトル記号アーキテクチャは、高次元ベクトルの記号と構造を符号化する関連する認知モデリング手法のファミリーに属している。
短期記憶に情報や概念を処理・保存する能力を有する人間の被験者と同様に、そのようなベクトル表現でエンコードできる情報の容量は制限され、認知への数値制限をモデル化する方法の一つとなる。
本稿では、分散表現の情報容量に関するこれらの制限を解析する。
我々は,空間情報をエンコードする畳み込み力を含む,単純な重ね合わせとより複雑な構造表現に注目した。
2つの実験で、1つのベクトルに効率的に格納できる概念の数について上限を求める。
関連論文リスト
- Labeling Neural Representations with Inverse Recognition [25.867702786273586]
Inverse Recognition (INVERT)は、学習した表現と人間の理解可能な概念を結びつけるためのスケーラブルなアプローチである。
以前の研究とは対照的に、INVERTは多様な種類のニューロンを処理でき、計算の複雑さが小さく、セグメンテーションマスクの可用性に依存しない。
本稿では,様々なシナリオにおけるINVERTの適用性を示す。
論文 参考訳(メタデータ) (2023-11-22T18:55:25Z) - Discrete, compositional, and symbolic representations through attractor
dynamics [61.58042831010077]
記号空間におけるインポーティング構造は、リッチな感覚入力のアトラクタ支持表現空間において構成性をもたらすことを示す。
我々のモデルは、意識経験において重要な役割を果たしていると考えられる情報のボトルネックの過程を示す。
論文 参考訳(メタデータ) (2023-10-03T05:40:56Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳(メタデータ) (2023-07-16T15:59:13Z) - Residual and Attentional Architectures for Vector-Symbols [0.0]
ベクトルシンボリックアーキテクチャ(VSAs)は、非常に柔軟でユニークな利点を持つ計算方法を提供する。
本研究では,FHRR (Fourier Holographic Reduced Representation) VSAのフレームワーク内で提供される操作の効率性と深層ネットワークのパワーを組み合わせて,新たなVSAベースの残差と注意に基づくニューラルネットワークアーキテクチャを構築する。
このことは、VSAの新たな応用と、ニューロモルフィックハードウェアに最先端のニューラルモデルを実装するための潜在的なパスを示す。
論文 参考訳(メタデータ) (2022-07-18T21:38:43Z) - Toward a Geometrical Understanding of Self-supervised Contrastive
Learning [55.83778629498769]
自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。
メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。
本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
論文 参考訳(メタデータ) (2022-05-13T23:24:48Z) - Concept Activation Vectors for Generating User-Defined 3D Shapes [11.325580593182414]
CAD(Computer-Aided Design)における3次元幾何学的深層学習モデルの解釈可能性について検討する。
ディープラーニングアーキテクチャを用いて高次元の3次元形状をベクトル化潜在表現に符号化し、任意の概念を記述する。
論文 参考訳(メタデータ) (2022-04-29T13:09:18Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-02-02T23:54:26Z) - Attribute Selection using Contranominal Scales [0.09668407688201358]
形式的概念分析(FCA)は、概念を導出して格子に並べることでバイナリデータを解析することができる。
そのような格子の大きさは、対応する形式的文脈におけるサブコンテキストの数に依存する。
本稿では,与えられた形式的文脈のすべての対数スケールの計算を可能にするアルゴリズムであるContraFinderを提案する。
論文 参考訳(メタデータ) (2021-06-21T10:53:50Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳(メタデータ) (2020-02-25T06:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。