論文の概要: An Algorithm for Routing Vectors in Sequences

• arxiv url: http://arxiv.org/abs/2211.11754v2
• Date: Wed, 23 Nov 2022 14:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 13:11:07.194686
• Title: An Algorithm for Routing Vectors in Sequences
• Title（参考訳）: シーケンス内のベクトルをルーティングするアルゴリズム
• Authors: Franz A. Heinsen
• Abstract要約: 本稿では,ベクトルの列を列挙し,指定された長さとベクトルサイズを持つ新しい列を演算するルーティングアルゴリズムを提案する。 各出力ベクトルは「ビット当たりのバン」を最大化し、入力ベクトルをより正確に予測することで、使用に対するネット利益とデータ無視に対するネットコストの差を最大化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a routing algorithm that takes a sequence of vectors and computes a new sequence with specified length and vector size. Each output vector maximizes "bang per bit," the difference between a net benefit to use and net cost to ignore data, by better predicting the input vectors. We describe output vectors as geometric objects, as latent variables that assign credit, as query states in a model of associative memory, and as agents in a model of a Society of Mind. We implement the algorithm with optimizations that reduce parameter count, computation, and memory use by orders of magnitude, enabling us to route sequences of greater length than previously possible. We evaluate our implementation on natural language and visual classification tasks, obtaining competitive or state-of-the-art accuracy and end-to-end credit assignments that are interpretable.
• Abstract（参考訳）: 本研究では,ベクトル列を取り込んで,長さとベクトルサイズが指定された新しいシーケンスを計算するルーティングアルゴリズムを提案する。 それぞれの出力ベクトルは「bang per bit」を最大化し、入力ベクトルをより良く予測することで、使い勝手とデータ無視のネットコストの差を最大化する。 我々は、出力ベクトルを幾何学的対象、信用を割り当てる潜在変数、連想記憶のモデルにおける問合せ状態、心の社会のモデルにおけるエージェントとして記述する。 我々は,パラメータ数,計算量,メモリ使用量を桁違いに削減し,従来よりも長い列をルーティングするアルゴリズムを実装した。 我々は,自然言語および視覚的分類タスクの実装を評価し,解釈可能な競争的あるいは最先端の精度とエンドツーエンドの信用代入を得る。

関連論文リスト

• Approximating Metric Magnitude of Point Sets [4.522729058300309]
  計量等級は、多くの望ましい幾何学的性質を持つ点雲の「大きさ」の尺度である。 様々な数学的文脈に適応しており、最近の研究は機械学習と最適化アルゴリズムを強化することを示唆している。 本稿では, 等級問題について検討し, 効率よく近似する方法を示し, 凸最適化問題として扱うことができるが, 部分モジュラ最適化としては適用できないことを示す。 本稿では,高速に収束し精度の高い反復近似アルゴリズムと,計算をより高速に行うサブセット選択法という,2つの新しいアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2024-09-06T17:15:28Z)
• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures [6.473177443214531]
  本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。 認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
  論文  参考訳（メタデータ） (2024-03-20T00:37:19Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• VAPI: Vectorization of Algorithm for Performance Improvement [5.835939416417458]
  ベクトル化(Vectorization)は、一度に1つの値で動作するアルゴリズムを、一度に1つの値のコレクションで動作して高速に実行するアルゴリズムに変換するテクニックである。 ベクトル化手法はまた、複数の繰り返しを1つの演算に置き換えることで、アルゴリズムの性能を高速化する。 本研究では,メタヒューリスティックアルゴリズムの1つにベクトル化手法を適用し,ベクトル化アルゴリズムと非ベクトル化アルゴリズムを比較した。
  論文  参考訳（メタデータ） (2023-07-19T11:23:03Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
  本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。 提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
  論文  参考訳（メタデータ） (2021-06-17T21:17:17Z)
• Metalearning: Sparse Variable-Structure Automata [0.0]
  本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。 アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
  論文  参考訳（メタデータ） (2021-01-30T21:32:23Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。