論文の概要: Building Concise Logical Patterns by Constraining Tsetlin Machine Clause Size

• arxiv url: http://arxiv.org/abs/2301.08190v1
• Date: Thu, 19 Jan 2023 17:37:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 14:32:45.654143
• Title: Building Concise Logical Patterns by Constraining Tsetlin Machine Clause Size
• Title（参考訳）: Tsetlin Machine Clause サイズ制約による簡潔論理パターンの構築
• Authors: K. Darshana Abeyrathna and Ahmed Abdulrahem Othman Abouzeid and Bimal Bhattarai and Charul Giri and Sondre Glimsdal and Ole-Christoffer Granmo and Lei Jiao and Rupsa Saha and Jivitesh Sharma and Svein Anders Tunheim and Xuan Zhang
• Abstract要約: 本稿では,CSC-TM(Clauuse Size Constrained TMs)の新たな変種について紹介する。 ある節が制約よりも多くのリテラルを含むとすぐに、リテラルを消し始める。 以上の結果より,CSC-TMはリテラルの最大80倍の精度を維持した。
• 参考スコア（独自算出の注目度）: 11.43224924974832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tsetlin machine (TM) is a logic-based machine learning approach with the crucial advantages of being transparent and hardware-friendly. While TMs match or surpass deep learning accuracy for an increasing number of applications, large clause pools tend to produce clauses with many literals (long clauses). As such, they become less interpretable. Further, longer clauses increase the switching activity of the clause logic in hardware, consuming more power. This paper introduces a novel variant of TM learning - Clause Size Constrained TMs (CSC-TMs) - where one can set a soft constraint on the clause size. As soon as a clause includes more literals than the constraint allows, it starts expelling literals. Accordingly, oversized clauses only appear transiently. To evaluate CSC-TM, we conduct classification, clustering, and regression experiments on tabular data, natural language text, images, and board games. Our results show that CSC-TM maintains accuracy with up to 80 times fewer literals. Indeed, the accuracy increases with shorter clauses for TREC, IMDb, and BBC Sports. After the accuracy peaks, it drops gracefully as the clause size approaches a single literal. We finally analyze CSC-TM power consumption and derive new convergence properties.
• Abstract（参考訳）: Tsetlin Machine(TM)は、論理ベースの機械学習アプローチであり、透明でハードウェアフレンドリな重要な利点がある。 TMは、多くのアプリケーションで深層学習の正確さにマッチするが、大きな節プールは多くのリテラル(長い節)を持つ節を生成する傾向がある。 そのため、解釈が困難になる。 さらに、長い節は、ハードウェアにおける節論理のスイッチング活性を高め、より多くの電力を消費する。 本稿では,CSC-TM(Clauuse Size Constrained TMs)の新たな変種について紹介する。 節が制約が許す以上のリテラルを含むとすぐに、リテラルを駆逐し始める。 そのため、過大な節は過渡的にのみ現れる。 CSC-TMを評価するために,木版データ,自然言語テキスト,画像,ボードゲームについて分類,クラスタリング,回帰実験を行った。 以上の結果より,CSC-TMはリテラルの最大80倍の精度を維持した。 実際、trec、imdb、bbcスポーツの短い節によって精度は向上している。 精度がピークに達した後、節のサイズが単一のリテラルに近づくと、適切に低下する。 我々は最終的にCSC-TM電力消費を分析し、新しい収束特性を導出する。

関連論文リスト

• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Leveraging Denoised Abstract Meaning Representation for Grammatical Error Correction [53.55440811942249]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)とは、誤りのある文を文法的に正しい、意味的に一貫性のある、一貫性のある文に修正する作業である。 本稿では,AMRを付加知識として組み込んだSeq-to-seqモデルであるAMR-GECを提案する。
  論文  参考訳（メタデータ） (2023-07-05T09:06:56Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• CTC Alignments Improve Autoregressive Translation [145.90587287444976]
  我々はCTCが共同のCTC/アテンションフレームワークに適用された場合、実際に翻訳に意味があることを論じる。 提案した共同CTC/アテンションモデルは6つのベンチマーク翻訳タスクにおいて純粋アテンションベースラインを上回った。
  論文  参考訳（メタデータ） (2022-10-11T07:13:50Z)
• An Experimental Study of Permanently Stored Learned Clauses [0.0]
  本稿では,MapleLCMDistChronoBTの文節保存について検討する。 サイズやLBDを基準とした基準は, 大型の常設店舗を維持しながら, 性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-10-27T05:36:16Z)
• CTC Variations Through New WFST Topologies [79.94035631317395]
  本稿では,コネクショニスト時相分類(CTC)のような自動音声認識アルゴリズムを実装するために,WFST(Weighted Finite-State Transducer)トポロジを提案する。 1)ユニット間の直接遷移をepsilon>バックオフ遷移に置き換える"compact-CTC"、(2)WFSTコンポジションで使用する際に空白>自己ループのみを追加する"minimal-CTC"、(3)非ブランクユニットの自己ループを許可する"selfless-CTC"の3つの新しいCTC変種が提案されている。
  論文  参考訳（メタデータ） (2021-10-06T23:00:15Z)
• Coalesced Multi-Output Tsetlin Machines with Clause Sharing [7.754230120409288]
  有限状態機械を用いてパターンを学習し、いくつかのベンチマークで競合精度と学習速度を得た。 句共有を導入し、複数のTMを1つにマージします。 MNIST, Fashion-MNIST, Kuzushiji-MNIST による実験結果から, CoTM は50ドルから1ドルで TM よりも有意に精度が高いことがわかった。
  論文  参考訳（メタデータ） (2021-08-17T12:52:01Z)
• Benchmarking Multivariate Time Series Classification Algorithms [69.12151492736524]
  時系列分類(TSC)は、順序付き、実値付き、属性から離散的なターゲット変数の予測モデルを構築することを含む。 近年,従来の技術よりも大幅に改良された新しいTSCアルゴリズムが開発されている。 本稿では, 深層学習, シェープレット, 単語の袋を用いた MTSC アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T15:56:40Z)
• Extending the Tsetlin Machine With Integer-Weighted Clauses for Increased Interpretability [9.432068833600884]
  解釈可能かつ正確であるマシンモデルを構築することは、多くのパターン認識問題に対して未解決の課題である。 Tsetlin Machines (TM)は、命題論理における共役節の線形結合を用いて、様々なベンチマーク上での競合性能を示した。 本稿では,TM節に整数重みを持たせることで,精度・解釈可能性の問題に対処する。
  論文  参考訳（メタデータ） (2020-05-11T14:18:09Z)
• On the Effect of Learned Clauses on Stochastic Local Search [0.0]
  SATソルバでは、競合駆動型節学習(CDCL)と局所探索(SLS)が使用されている。 多数の正しいリテラルを持つ節がSLSのランタイムに有益であることを実験的に実証した。 我々は、前処理のステップとして高品質な節を追加する最も有益な戦略を導出する。
  論文  参考訳（メタデータ） (2020-05-07T13:33:16Z)
• A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation [9.432068833600884]
  Regression Tsetlin Machine (RTM) は、最先端の非線形回帰モデルに干渉する解釈可能性の欠如に対処する。 整数重み付き節を導入し,計算コストをN倍に削減し,解釈可能性を高める。 6つの人工データセットを用いて整数重み付きRTMのポテンシャルを評価する。
  論文  参考訳（メタデータ） (2020-02-04T12:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。