論文の概要: Coalesced Multi-Output Tsetlin Machines with Clause Sharing

• arxiv url: http://arxiv.org/abs/2108.07594v1
• Date: Tue, 17 Aug 2021 12:52:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:26:36.080418
• Title: Coalesced Multi-Output Tsetlin Machines with Clause Sharing
• Title（参考訳）: 節共有型マルチアウトプットtsetlinマシンの融合
• Authors: Sondre Glimsdal and Ole-Christoffer Granmo
• Abstract要約: 有限状態機械を用いてパターンを学習し、いくつかのベンチマークで競合精度と学習速度を得た。 句共有を導入し、複数のTMを1つにマージします。 MNIST, Fashion-MNIST, Kuzushiji-MNIST による実験結果から, CoTM は50ドルから1ドルで TM よりも有意に精度が高いことがわかった。
• 参考スコア（独自算出の注目度）: 7.754230120409288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using finite-state machines to learn patterns, Tsetlin machines (TMs) have obtained competitive accuracy and learning speed across several benchmarks, with frugal memory- and energy footprint. A TM represents patterns as conjunctive clauses in propositional logic (AND-rules), each clause voting for or against a particular output. While efficient for single-output problems, one needs a separate TM per output for multi-output problems. Employing multiple TMs hinders pattern reuse because each TM then operates in a silo. In this paper, we introduce clause sharing, merging multiple TMs into a single one. Each clause is related to each output by using a weight. A positive weight makes the clause vote for output $1$, while a negative weight makes the clause vote for output $0$. The clauses thus coalesce to produce multiple outputs. The resulting coalesced Tsetlin Machine (CoTM) simultaneously learns both the weights and the composition of each clause by employing interacting Stochastic Searching on the Line (SSL) and Tsetlin Automata (TA) teams. Our empirical results on MNIST, Fashion-MNIST, and Kuzushiji-MNIST show that CoTM obtains significantly higher accuracy than TM on $50$- to $1$K-clause configurations, indicating an ability to repurpose clauses. E.g., accuracy goes from $71.99$% to $89.66$% on Fashion-MNIST when employing $50$ clauses per class (22 Kb memory). While TM and CoTM accuracy is similar when using more than $1$K clauses per class, CoTM reaches peak accuracy $3\times$ faster on MNIST with $8$K clauses. We further investigate robustness towards imbalanced training data. Our evaluations on imbalanced versions of IMDb- and CIFAR10 data show that CoTM is robust towards high degrees of class imbalance. Being able to share clauses, we believe CoTM will enable new TM application domains that involve multiple outputs, such as learning language models and auto-encoding.
• Abstract（参考訳）: 有限状態機械を用いてパターンを学習し、Tsetlin Machine (TM) はいくつかのベンチマークで競合精度と学習速度を得た。 TMは命題論理(ANDルール)における共役節としてパターンを表し、各節は特定の出力に対して投票する。 単一出力問題には効率的だが、マルチ出力問題には出力毎に別のTMが必要である。 複数のTMを使用すると、各TMがサイロで動作するため、パターンの再利用を妨げる。 本稿では,複数のTMを単一のTMにマージした節共有を提案する。 各節は重みを用いて各出力に関連付けられる。 肯定的な重みは、この条項が出力に対して1ドル、否定的な重みは、出力に対して0ドルである。 したがって、この節は結合して複数の出力を生成する。 結果として得られたTsetlin Machine(CoTM)は、SSL(Stochastic Searching on the Line)とTA(Tsetlin Automata)チームを用いて、各節の重みと構成の両方を同時に学習する。 MNIST, Fashion-MNIST, Kuzushiji-MNIST の実証実験の結果, CoTM は 50 ドルから $1$K-clause の構成で TM よりもはるかに高い精度を示し, 句の再利用能力を示している。 例えば、Fashion-MNISTで1クラスあたり50ドル(22Kbメモリ)を使用すれば、精度は71.99ドル%から89.66ドル%になる。 TMとCoTMの精度はクラスあたり1ドルK節以上を使用する場合と似ているが、MNISTでは8ドルK節で最高3ドル99セントの精度に達する。 さらに、不均衡なトレーニングデータに対する堅牢性についても検討する。 IMDb-およびCIFAR10データの不均衡バージョンに対する評価は、CoTMが高次不均衡に対して堅牢であることを示している。 節を共有できるので、言語モデルや自動エンコーディングなど、複数のアウトプットを含む新しいTMアプリケーションドメインが可能になると考えています。

関連論文リスト

• Reasoning Robustness of LLMs to Adversarial Typographical Errors [49.99118660264703]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトを使用した推論において、印象的な機能を示している。 本研究では,LLMのタイポグラフィ的誤りに対するロバスト性について検討する。 我々は,クエリに重要な単語の型を反復的にサンプリングし,攻撃に成功しそうな編集を選択する,Adversarial Typo Attack(texttATA$)アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-11-08T05:54:05Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• TCNCA: Temporal Convolution Network with Chunked Attention for Scalable Sequence Processing [52.64837396100988]
  MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。 線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。 我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
  論文  参考訳（メタデータ） (2023-12-09T16:12:25Z)
• TMComposites: Plug-and-Play Collaboration Between Specialized Tsetlin Machines [12.838678214659422]
  本稿では、TMコンポジットと呼ばれる特殊なTM間のプラグ・アンド・プレイ・コラボレーションを紹介する。 このコラボレーションは、学習中に専門化し、推論中にその能力を評価するTMの能力に依存している。 我々は経験的評価に3つのTM特殊化を実装した。
  論文  参考訳（メタデータ） (2023-09-09T14:00:39Z)
• Building Concise Logical Patterns by Constraining Tsetlin Machine Clause Size [11.43224924974832]
  本稿では,CSC-TM(Clauuse Size Constrained TMs)の新たな変種について紹介する。 ある節が制約よりも多くのリテラルを含むとすぐに、リテラルを消し始める。 以上の結果より,CSC-TMはリテラルの最大80倍の精度を維持した。
  論文  参考訳（メタデータ） (2023-01-19T17:37:48Z)
• Neural Machine Translation with Contrastive Translation Memories [71.86990102704311]
  Retrieval-augmented Neural Machine Translationモデルは、多くの翻訳シナリオで成功している。 そこで本論文では,新たに検索拡張NMTを提案し,ソース文と相似なコントラスト検索された翻訳記憶をモデル化する。 訓練段階では、目標文に対する各TMの健全な特徴を学習するために、マルチTMコントラスト学習目標を導入する。
  論文  参考訳（メタデータ） (2022-12-06T17:10:17Z)
• Learning Best Combination for Efficient N:M Sparsity [75.34103761423803]
  N:M学習は自然に有限コレクション内で最高の組み合わせを求める問題として特徴づけられる。 学習の最良の組み合わせ (LBC) は, 様々なネットワークにおいて, 市販のN:Mスポーサリティ手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-14T07:51:31Z)
• Fast, Effective and Self-Supervised: Transforming Masked LanguageModels into Universal Lexical and Sentence Encoders [66.76141128555099]
  余分なデータや監督なしでも、タスクを普遍的な語彙や文エンコーダに変換することが可能であることを示す。 極めて単純で高速で効果的なコントラスト学習手法であるMirror-BERTを提案する。 Mirror-BERT は完全に同一またはわずかに修正された文字列対を正の(同義の)微調整例として依存する。 語彙レベルと文レベルの両方のタスクにおいて、異なるドメインや異なる言語でMirror-BERTを使用したオフザシェルフよりも大幅に向上したことを報告します。
  論文  参考訳（メタデータ） (2021-04-16T10:49:56Z)
• Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling [11.57427340680871]
  Tsetlin Machines (TMs) は、最近、精度、メモリフットプリント、エネルギー、学習速度の点で競合性能を得た。 各TM節は特定のクラスに対して、または反対に投票し、多数決によって分類は解決された。 本稿では,節の評価を非同期化し,投票ボトルネックを解消する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-10T13:48:33Z)
• Extending the Tsetlin Machine With Integer-Weighted Clauses for Increased Interpretability [9.432068833600884]
  解釈可能かつ正確であるマシンモデルを構築することは、多くのパターン認識問題に対して未解決の課題である。 Tsetlin Machines (TM)は、命題論理における共役節の線形結合を用いて、様々なベンチマーク上での競合性能を示した。 本稿では,TM節に整数重みを持たせることで,精度・解釈可能性の問題に対処する。
  論文  参考訳（メタデータ） (2020-05-11T14:18:09Z)
• A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation [9.432068833600884]
  Regression Tsetlin Machine (RTM) は、最先端の非線形回帰モデルに干渉する解釈可能性の欠如に対処する。 整数重み付き節を導入し,計算コストをN倍に削減し,解釈可能性を高める。 6つの人工データセットを用いて整数重み付きRTMのポテンシャルを評価する。
  論文  参考訳（メタデータ） (2020-02-04T12:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。