論文の概要: An Algorithm for Routing Vectors in Sequences
- arxiv url: http://arxiv.org/abs/2211.11754v2
- Date: Wed, 23 Nov 2022 14:16:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 13:11:07.194686
- Title: An Algorithm for Routing Vectors in Sequences
- Title(参考訳): シーケンス内のベクトルをルーティングするアルゴリズム
- Authors: Franz A. Heinsen
- Abstract要約: 本稿では,ベクトルの列を列挙し,指定された長さとベクトルサイズを持つ新しい列を演算するルーティングアルゴリズムを提案する。
各出力ベクトルは「ビット当たりのバン」を最大化し、入力ベクトルをより正確に予測することで、使用に対するネット利益とデータ無視に対するネットコストの差を最大化する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a routing algorithm that takes a sequence of vectors and computes
a new sequence with specified length and vector size. Each output vector
maximizes "bang per bit," the difference between a net benefit to use and net
cost to ignore data, by better predicting the input vectors. We describe output
vectors as geometric objects, as latent variables that assign credit, as query
states in a model of associative memory, and as agents in a model of a Society
of Mind. We implement the algorithm with optimizations that reduce parameter
count, computation, and memory use by orders of magnitude, enabling us to route
sequences of greater length than previously possible. We evaluate our
implementation on natural language and visual classification tasks, obtaining
competitive or state-of-the-art accuracy and end-to-end credit assignments that
are interpretable.
- Abstract(参考訳): 本研究では,ベクトル列を取り込んで,長さとベクトルサイズが指定された新しいシーケンスを計算するルーティングアルゴリズムを提案する。
それぞれの出力ベクトルは「bang per bit」を最大化し、入力ベクトルをより良く予測することで、使い勝手とデータ無視のネットコストの差を最大化する。
我々は、出力ベクトルを幾何学的対象、信用を割り当てる潜在変数、連想記憶のモデルにおける問合せ状態、心の社会のモデルにおけるエージェントとして記述する。
我々は,パラメータ数,計算量,メモリ使用量を桁違いに削減し,従来よりも長い列をルーティングするアルゴリズムを実装した。
我々は,自然言語および視覚的分類タスクの実装を評価し,解釈可能な競争的あるいは最先端の精度とエンドツーエンドの信用代入を得る。
関連論文リスト
- Step-size Optimization for Continual Learning [5.834516080130717]
継続的な学習では、学習者は生涯にわたってデータから学び続けなければならない。
ニューラルネットワークでは、ステップサイズのベクトルを使用して、サンプルがネットワーク重みを変化させる程度をスケールすることで、これを実装できる。
RMSPropやAdamのような一般的なアルゴリズムは、このステップサイズのベクトルに適応するために勾配、特に正規化を使用する。
論文 参考訳(メタデータ) (2024-01-30T19:35:43Z) - Nonparametric active learning for cost-sensitive classification [2.1756081703276]
コスト依存型分類のための一般的な非パラメトリック能動学習アルゴリズムを設計する。
我々は、一致した(対数係数まで)下界を提供することにより、得られた上界のほぼ最適性を証明した。
論文 参考訳(メタデータ) (2023-09-30T22:19:21Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-30T15:57:14Z) - VAPI: Vectorization of Algorithm for Performance Improvement [5.835939416417458]
ベクトル化(Vectorization)は、一度に1つの値で動作するアルゴリズムを、一度に1つの値のコレクションで動作して高速に実行するアルゴリズムに変換するテクニックである。
ベクトル化手法はまた、複数の繰り返しを1つの演算に置き換えることで、アルゴリズムの性能を高速化する。
本研究では,メタヒューリスティックアルゴリズムの1つにベクトル化手法を適用し,ベクトル化アルゴリズムと非ベクトル化アルゴリズムを比較した。
論文 参考訳(メタデータ) (2023-07-19T11:23:03Z) - Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。
厳密な手法により分類性能は向上するが、計算コストが高い。
本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
論文 参考訳(メタデータ) (2022-09-11T22:44:19Z) - Discovering Non-monotonic Autoregressive Orderings with Variational
Inference [67.27561153666211]
我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。
エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。
言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
論文 参考訳(メタデータ) (2021-10-27T16:08:09Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳(メタデータ) (2021-09-10T07:01:15Z) - Generalized Learning Vector Quantization for Classification in
Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。
提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
論文 参考訳(メタデータ) (2021-06-17T21:17:17Z) - Metalearning: Sparse Variable-Structure Automata [0.0]
本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。
アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
論文 参考訳(メタデータ) (2021-01-30T21:32:23Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳(メタデータ) (2020-03-18T13:07:51Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳(メタデータ) (2020-01-27T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。