論文の概要: Computing on Functions Using Randomized Vector Representations
- arxiv url: http://arxiv.org/abs/2109.03429v1
- Date: Wed, 8 Sep 2021 04:39:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 03:06:28.570808
- Title: Computing on Functions Using Randomized Vector Representations
- Title（参考訳）: ランダム化ベクトル表現を用いた関数の計算
- Authors: E. Paxon Frady, Denis Kleyko, Christopher J. Kymn, Bruno A. Olshausen,
Friedrich T. Sommer
- Abstract要約: この新しい関数エンコーディングと計算フレームワーク Vector Function Architecture (VFA) と呼ぶ。
我々の分析と結果から,VFAは分散ニューラルネットワークにおける関数の表現と操作のための強力な新しいフレームワークとなっていることが示唆された。
- 参考スコア（独自算出の注目度）: 4.066849397181077
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Vector space models for symbolic processing that encode symbols by random
vectors have been proposed in cognitive science and connectionist communities
under the names Vector Symbolic Architecture (VSA), and, synonymously,
Hyperdimensional (HD) computing. In this paper, we generalize VSAs to function
spaces by mapping continuous-valued data into a vector space such that the
inner product between the representations of any two data points represents a
similarity kernel. By analogy to VSA, we call this new function encoding and
computing framework Vector Function Architecture (VFA). In VFAs, vectors can
represent individual data points as well as elements of a function space (a
reproducing kernel Hilbert space). The algebraic vector operations, inherited
from VSA, correspond to well-defined operations in function space. Furthermore,
we study a previously proposed method for encoding continuous data, fractional
power encoding (FPE), which uses exponentiation of a random base vector to
produce randomized representations of data points and fulfills the kernel
properties for inducing a VFA. We show that the distribution from which
elements of the base vector are sampled determines the shape of the FPE kernel,
which in turn induces a VFA for computing with band-limited functions. In
particular, VFAs provide an algebraic framework for implementing large-scale
kernel machines with random features, extending Rahimi and Recht, 2007.
Finally, we demonstrate several applications of VFA models to problems in image
recognition, density estimation and nonlinear regression. Our analyses and
results suggest that VFAs constitute a powerful new framework for representing
and manipulating functions in distributed neural systems, with myriad
applications in artificial intelligence.
- Abstract（参考訳）: ランダムベクトルによって記号をエンコードする記号処理のためのベクトル空間モデルは、認知科学やコネクショニストコミュニティにおいてベクターシンボリックアーキテクチャ(vsa)や同義語では超次元(hd)コンピューティングという名で提案されている。
本稿では,連続値データをベクトル空間にマッピングすることでvsasを関数空間に一般化し,任意の2つのデータ点の表現間の内積が類似性核を表す。
VSAと類似して、我々はこの新しい関数エンコーディングと計算フレームワークVector Function Architecture (VFA) と呼ぶ。
vfasでは、ベクトルは関数空間(再生成核ヒルベルト空間)の要素と同様に個々のデータポイントを表現できる。
VSA から継承された代数的ベクトル演算は、函数空間における well-defined な演算に対応する。
さらに,前述した連続データの符号化法である分数電力符号化(fpe)について,ランダムベースベクトルの指数を用いてデータ点のランダム化表現を生成し,vfaを誘導するカーネル特性を満足する手法について検討した。
基本ベクトルの要素がサンプリングされる分布がFPEカーネルの形状を決定することを示し、バンド制限関数を用いた計算のためのVFAを誘導する。
特に、vfas はランダムな特徴を持つ大規模カーネルマシンを実装するための代数的フレームワークを提供しており、rahimi と recht, 2007 を拡張している。
最後に,画像認識,密度推定,非線形回帰問題に対するvfaモデルのいくつかの応用例を示す。
分析と結果から,vfaは分散ニューラルネットワークにおける関数の表現と操作のための強力な新しいフレームワークであることが示唆された。
関連論文リスト
- Neural Clustering based Visual Representation Learning [61.72646814537163]
クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。
本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。
FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
論文 参考訳（メタデータ） (2024-03-26T06:04:50Z) - HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。
本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-03-18T03:17:08Z) - Function Vectors in Large Language Models [45.267194267587435]
自己回帰変換言語モデル(LM)内のベクトルとして入力出力関数を表す単純な神経機構の存在を報告する。
多様なコンテキスト内学習(ICL)タスクの因果媒介分析を用いて、少数の注意ヘッドがデモされたタスクのコンパクトな表現を伝達し、関数ベクトル(FV)と呼ぶ。
論文 参考訳（メタデータ） (2023-10-23T17:55:24Z) - New Equivalences Between Interpolation and SVMs: Kernels and Structured
Features [22.231455330003328]
本稿では、任意のカーネルを再生するヒルベルト空間において、ラベルに対するフレキシブルな生成モデルのクラスでSVPを証明するための新しいフレキシブルな分析フレームワークを提案する。
我々は、SVPが以前の作業でカバーされていない多くの興味深い設定で発生していることを示し、カーネルSVM分類のための新しい一般化結果を証明するためにこれらの結果を活用する。
論文 参考訳（メタデータ） (2023-05-03T17:52:40Z) - Neural Vector Fields: Implicit Representation by Explicit Learning [63.337294707047036]
ニューラルベクトル場 (Neural Vector Fields, NVF) という新しい3次元表現法を提案する。
メッシュを直接操作するための明示的な学習プロセスを採用するだけでなく、符号なし距離関数(UDF)の暗黙的な表現も採用している。
提案手法は,まず表面への変位クエリを予測し,テキスト再構成として形状をモデル化する。
論文 参考訳（メタデータ） (2023-03-08T02:36:09Z) - Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。
IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。
提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
論文 参考訳（メタデータ） (2022-06-17T09:40:14Z) - Resonator networks for factoring distributed representations of data
structures [3.46969645559477]
分散表現空間上の代数を構成する高次元ベクトルと演算を組み合わせることにより、データ構造がどのように符号化されるかを示す。
提案アルゴリズムは共振器ネットワークと呼ばれ、VSA乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。
共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
論文 参考訳（メタデータ） (2020-07-07T19:24:27Z) - An End-to-End Graph Convolutional Kernel Support Vector Machine [0.0]
グラフ分類のためのカーネルベースサポートベクターマシン(SVM)を提案する。
提案したモデルは、教師付きエンドツーエンドで訓練される。
実験結果から,提案モデルが既存のディープラーニングベースラインモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-02-29T09:57:42Z) - Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。
主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
論文 参考訳（メタデータ） (2019-06-05T07:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。