論文の概要: Exploring Effects of Hyperdimensional Vectors for Tsetlin Machines
- arxiv url: http://arxiv.org/abs/2406.02648v1
- Date: Tue, 4 Jun 2024 14:16:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 23:19:06.901153
- Title: Exploring Effects of Hyperdimensional Vectors for Tsetlin Machines
- Title（参考訳）: Tsetlin マシンにおける超次元ベクトルの探索効果
- Authors: Vojtech Halenka, Ahmed K. Kadhim, Paul F. A. Clarke, Bimal Bhattarai, Rupsa Saha, Ole-Christoffer Granmo, Lei Jiao, Per-Arne Andersen,
- Abstract要約: 本稿では,任意の入力データに関連する概念集合を任意に表現するためのハイパーベクター(HV)に基づく手法を提案する。
超次元空間を用いてベクトルを構築すると、TMの容量と柔軟性が劇的に拡大する。
提案手法により, 画像, 化合物, 自然言語テキストのエンコード方法, 得られたHVによるTMが, 精度が高く, 学習速度も向上することを示す。
- 参考スコア（独自算出の注目度）: 12.619567138333492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tsetlin machines (TMs) have been successful in several application domains, operating with high efficiency on Boolean representations of the input data. However, Booleanizing complex data structures such as sequences, graphs, images, signal spectra, chemical compounds, and natural language is not trivial. In this paper, we propose a hypervector (HV) based method for expressing arbitrarily large sets of concepts associated with any input data. Using a hyperdimensional space to build vectors drastically expands the capacity and flexibility of the TM. We demonstrate how images, chemical compounds, and natural language text are encoded according to the proposed method, and how the resulting HV-powered TM can achieve significantly higher accuracy and faster learning on well-known benchmarks. Our results open up a new research direction for TMs, namely how to expand and exploit the benefits of operating in hyperspace, including new booleanization strategies, optimization of TM inference and learning, as well as new TM applications.
- Abstract（参考訳）: Tsetlin Machine (TM) はいくつかのアプリケーション領域で成功しており、入力データのブール表現で高い効率で動作している。
しかし、シーケンス、グラフ、画像、信号スペクトル、化合物、自然言語などの複雑なデータ構造をブール化することは簡単ではない。
本稿では,任意の入力データに関連付けられた任意の概念セットを任意に表現するハイパーベクタ(HV)に基づく手法を提案する。
超次元空間を用いてベクトルを構築すると、TMの容量と柔軟性が劇的に拡大する。
提案手法により, 画像, 化合物, 自然言語テキストがどのように符号化されるか, 得られたHV駆動TMが, 良く知られたベンチマークにおいて, より精度が高く, より高速な学習を実現するかを示す。
我々の研究成果は,新たなブール化戦略,TM推論と学習の最適化,新しいTMアプリケーションなど,ハイパースペースでの運用のメリットの拡大と活用に関する新たな研究方向を開くものである。
関連論文リスト
- Learning local equivariant representations for quantum operators [7.747597014044332]
本稿では,複数の量子演算子を予測するための新しいディープラーニングモデルSLEMを提案する。
SLEMは、計算効率を劇的に改善しながら最先端の精度を達成する。
SLEMの能力は多種多様な2次元および3次元材料にまたがって実証し,限られた訓練データでも高い精度を達成できることを示した。
論文 参考訳（メタデータ） (2024-07-08T15:55:12Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
論文 参考訳（メタデータ） (2024-05-09T11:49:05Z) - Sliceformer: Make Multi-head Attention as Simple as Sorting in
Discriminative Tasks [32.33355192614434]
我々は,Sliceformerと呼ばれるトランスフォーマーの効果的かつ効率的なサロゲートを提案する。
我々のスライスフォーマーは、従来のMHA機構を極めて単純なスライシングソーシングの操作で置き換える。
我々のSliceformerは、Transformerとその変種よりもメモリコストが低く、高速な性能を実現しています。
論文 参考訳（メタデータ） (2023-10-26T14:43:07Z) - Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。
様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。
これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
論文 参考訳（メタデータ） (2023-02-03T18:57:17Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z) - Tevatron: An Efficient and Flexible Toolkit for Dense Retrieval [60.457378374671656]
Tevatronは、効率、柔軟性、コードの単純さに最適化された高密度な検索ツールキットである。
Tevatronのフレキシブルな設計は、データセット、モデルアーキテクチャ、アクセラレータプラットフォームをまたいで簡単に一般化できることを示す。
論文 参考訳（メタデータ） (2022-03-11T05:47:45Z) - HyperNP: Interactive Visual Exploration of Multidimensional Projection
Hyperparameters [61.354362652006834]
HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。
我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
論文 参考訳（メタデータ） (2021-06-25T17:28:14Z) - Demystifying BERT: Implications for Accelerator Design [4.80595971865854]
私たちは、最も人気のあるNLP転送学習アルゴリズムの1つであるBERTに焦点を当て、アルゴリズムの振る舞いが将来のアクセラレータ設計を導く方法を特定します。
計算集約型BERT計算を特徴づけ、これらの計算をさらに最適化するためのソフトウェアと可能なハードウェアメカニズムについて議論します。
本分析では,BERT系モデルに対するシステム最適化のための全体解を同定する。
論文 参考訳（メタデータ） (2021-04-14T01:06:49Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳（メタデータ） (2020-02-17T19:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。