論文の概要: The Sparse Tsetlin Machine: Sparse Representation with Active Literals

• arxiv url: http://arxiv.org/abs/2405.02375v2
• Date: Sat, 11 May 2024 04:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 21:03:09.571009
• Title: The Sparse Tsetlin Machine: Sparse Representation with Active Literals
• Title（参考訳）: スパース・テセリンマシン:アクティブリテラルを用いたスパース表現
• Authors: Sebastian Østby, Tobias M. Brambo, Sondre Glimsdal,
• Abstract要約: 本稿では、スパースデータを効率的に処理する新しいTsetlin Machine(TM)であるSparse Tsetlin Machine(STM)を紹介する。 Active Literals (AL)を導入することで、STMは現在のデータ表現に積極的に貢献するリテラルにのみフォーカスすることができる。
• 参考スコア（独自算出の注目度）: 0.5735035463793008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the Sparse Tsetlin Machine (STM), a novel Tsetlin Machine (TM) that processes sparse data efficiently. Traditionally, the TM does not consider data characteristics such as sparsity, commonly seen in NLP applications and other bag-of-word-based representations. Consequently, a TM must initialize, store, and process a significant number of zero values, resulting in excessive memory usage and computational time. Previous attempts at creating a sparse TM have predominantly been unsuccessful, primarily due to their inability to identify which literals are sufficient for TM training. By introducing Active Literals (AL), the STM can focus exclusively on literals that actively contribute to the current data representation, significantly decreasing memory footprint and computational time while demonstrating competitive classification performance.
• Abstract（参考訳）: 本稿では、スパースデータを効率的に処理する新しいTsetlin Machine(TM)であるSparse Tsetlin Machine(STM)を紹介する。 伝統的に、TMは、NLPアプリケーションやその他の単語のバッグベースの表現でよく見られるような、空間性のようなデータ特性を考慮していない。 その結果、TMは、かなりの数のゼロ値を初期化し、保存し、処理し、結果として過剰なメモリ使用量と計算時間をもたらす。 スパースTMを作成する試みは、主に、どのリテラルがTMトレーニングに十分であるかを識別できないため、主に失敗に終わっている。 Active Literals (AL)を導入することで、STMは現在のデータ表現に積極的に貢献するリテラルにのみ焦点を絞ることができる。

関連論文リスト

• Sparser Training for On-Device Recommendation Systems [50.74019319100728]
  動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。 これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
  論文  参考訳（メタデータ） (2024-11-19T03:48:48Z)
• Navigating Extremes: Dynamic Sparsity in Large Output Space [5.231219025536679]
  動的スパーストレーニング(DST)は、効率的なモデルを生成するための訓練後プルーニングの代替として登場した。 我々は、半構造化スパース訓練の最近の進歩を活用し、大きな出力空間を持つ分類領域にDSTを適用した。 スパース分類器から高密度テキストエンコーダへの勾配流は、優れた入力表現の学習を困難にしている。
  論文  参考訳（メタデータ） (2024-11-05T15:19:29Z)
• Exploring State Space and Reasoning by Elimination in Tsetlin Machines [14.150011713654331]
  Tsetlin Machine(TM)は機械学習(ML)において大きな注目を集めている。 TMは、単語の埋め込みを構築し、節を使ってターゲット語を記述するために使われる。 これらの節の記述能力を高めるために,節の定式化におけるReasoning by Elimination(RbE)の概念を検討した。
  論文  参考訳（メタデータ） (2024-07-12T10:58:01Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• A Comparison of SVM against Pre-trained Language Models (PLMs) for Text Classification Tasks [1.2934180951771599]
  ドメイン固有のコーパスでは、特定のタスクのために事前訓練されたモデルを微調整することで、パフォーマンスが向上することを示した。 3つのパブリックドメインフリーデータセットとドメイン固有の単語を含む実世界のデータセットにおける4つの異なるPLMの性能を比較した。
  論文  参考訳（メタデータ） (2022-11-04T16:28:40Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Distributed Word Representation in Tsetlin Machine [14.62945824459286]
  Tsetlin Machine (TM) は命題論理に基づく解釈可能なパターン認識アルゴリズムである。 tmに事前学習した単語表現を用いる新しい手法を提案する。 このアプローチはTM性能を大幅に向上させ、同時に解釈性を維持します。
  論文  参考訳（メタデータ） (2021-04-14T14:48:41Z)
• Recurrence-free unconstrained handwritten text recognition using gated fully convolutional network [2.277447144331876]
  制約のない手書きテキスト認識は、ほとんどのドキュメント分析タスクの主要なステップです。 LSTM細胞を使用する別の方法の1つは、畳み込み層を多用して長期記憶損失を補うことである。 我々は、よく知られたCNN+LSTMアーキテクチャの再発のない代替であるGated Fully Convolutional Networkアーキテクチャを紹介します。
  論文  参考訳（メタデータ） (2020-12-09T10:30:13Z)
• Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
  S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。 そこで本研究では,S-LSTMの深度適応機構を提案する。
  論文  参考訳（メタデータ） (2020-02-29T03:09:55Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。