論文の概要: The Sparse Tsetlin Machine: Sparse Representation with Active Literals

• arxiv url: http://arxiv.org/abs/2405.02375v2
• Date: Sat, 11 May 2024 04:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 21:03:09.571009
• Title: The Sparse Tsetlin Machine: Sparse Representation with Active Literals
• Title（参考訳）: スパース・テセリンマシン:アクティブリテラルを用いたスパース表現
• Authors: Sebastian Østby, Tobias M. Brambo, Sondre Glimsdal,
• Abstract要約: 本稿では、スパースデータを効率的に処理する新しいTsetlin Machine(TM)であるSparse Tsetlin Machine(STM)を紹介する。 Active Literals (AL)を導入することで、STMは現在のデータ表現に積極的に貢献するリテラルにのみフォーカスすることができる。
• 参考スコア（独自算出の注目度）: 0.5735035463793008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the Sparse Tsetlin Machine (STM), a novel Tsetlin Machine (TM) that processes sparse data efficiently. Traditionally, the TM does not consider data characteristics such as sparsity, commonly seen in NLP applications and other bag-of-word-based representations. Consequently, a TM must initialize, store, and process a significant number of zero values, resulting in excessive memory usage and computational time. Previous attempts at creating a sparse TM have predominantly been unsuccessful, primarily due to their inability to identify which literals are sufficient for TM training. By introducing Active Literals (AL), the STM can focus exclusively on literals that actively contribute to the current data representation, significantly decreasing memory footprint and computational time while demonstrating competitive classification performance.
• Abstract（参考訳）: 本稿では、スパースデータを効率的に処理する新しいTsetlin Machine(TM)であるSparse Tsetlin Machine(STM)を紹介する。 伝統的に、TMは、NLPアプリケーションやその他の単語のバッグベースの表現でよく見られるような、空間性のようなデータ特性を考慮していない。 その結果、TMは、かなりの数のゼロ値を初期化し、保存し、処理し、結果として過剰なメモリ使用量と計算時間をもたらす。 スパースTMを作成する試みは、主に、どのリテラルがTMトレーニングに十分であるかを識別できないため、主に失敗に終わっている。 Active Literals (AL)を導入することで、STMは現在のデータ表現に積極的に貢献するリテラルにのみ焦点を絞ることができる。

関連論文リスト

• ETHEREAL: Energy-efficient and High-throughput Inference using Compressed Tsetlin Machine [0.3121107735397556]
  Tsetlin Machine(TM)はディープニューラルネットワーク(DNN)に代わる新しい選択肢である 本稿では,排除されたオートマトン状態を用いて,肯定句と否定句の両方でTM論理パターンをスパース化するトレーニング手法を提案する。 標準のTMと比較して、ETHEREAL TMモデルはモデルサイズを最大87.54%削減できる。
  論文  参考訳（メタデータ） (2025-02-08T16:58:43Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のない特別なトークン(セパレータ)は、意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグイン・アンド・プレイのフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• Sparser Training for On-Device Recommendation Systems [50.74019319100728]
  動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。 これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
  論文  参考訳（メタデータ） (2024-11-19T03:48:48Z)
• Navigating Extremes: Dynamic Sparsity in Large Output Spaces [5.231219025536679]
  動的スパーストレーニング(DST)は、効率的なモデルを生成するための訓練後プルーニングの代替として登場した。 我々は、半構造化スパース訓練の最近の進歩を活用し、大きな出力空間を持つ分類領域にDSTを適用した。 スパース分類器から高密度テキストエンコーダへの勾配流は、優れた入力表現の学習を困難にしている。
  論文  参考訳（メタデータ） (2024-11-05T15:19:29Z)
• TrIM, Triangular Input Movement Systolic Array for Convolutional Neural Networks: Dataflow and Analytical Modelling [0.0]
  畳み込みニューラルネットワーク(CNN)はフォン・ノイマンのボトルネックに影響を受けやすい。 このボトルネックは、処理コアとメモリ間でデータを移動する際のエネルギーコストに関連している。 TrIMは、三角入力運動に基づくSystolic Arraysのための新しいデータフローであり、CNNコンピューティングと互換性がある。
  論文  参考訳（メタデータ） (2024-08-02T13:15:17Z)
• Exploring State Space and Reasoning by Elimination in Tsetlin Machines [14.150011713654331]
  Tsetlin Machine(TM)は機械学習(ML)において大きな注目を集めている。 TMは、単語の埋め込みを構築し、節を使ってターゲット語を記述するために使われる。 これらの節の記述能力を高めるために,節の定式化におけるReasoning by Elimination(RbE)の概念を検討した。
  論文  参考訳（メタデータ） (2024-07-12T10:58:01Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Distributed Word Representation in Tsetlin Machine [14.62945824459286]
  Tsetlin Machine (TM) は命題論理に基づく解釈可能なパターン認識アルゴリズムである。 tmに事前学習した単語表現を用いる新しい手法を提案する。 このアプローチはTM性能を大幅に向上させ、同時に解釈性を維持します。
  論文  参考訳（メタデータ） (2021-04-14T14:48:41Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。