論文の概要: Extending the Tsetlin Machine With Integer-Weighted Clauses for Increased Interpretability

• arxiv url: http://arxiv.org/abs/2005.05131v1
• Date: Mon, 11 May 2020 14:18:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 20:20:26.371862
• Title: Extending the Tsetlin Machine With Integer-Weighted Clauses for Increased Interpretability
• Title（参考訳）: Integer-Weighted Clause を用いた Tsetlin マシンの拡張による解釈性の向上
• Authors: K. Darshana Abeyrathna, Ole-Christoffer Granmo, Morten Goodwin
• Abstract要約: 解釈可能かつ正確であるマシンモデルを構築することは、多くのパターン認識問題に対して未解決の課題である。 Tsetlin Machines (TM)は、命題論理における共役節の線形結合を用いて、様々なベンチマーク上での競合性能を示した。 本稿では,TM節に整数重みを持たせることで,精度・解釈可能性の問題に対処する。
• 参考スコア（独自算出の注目度）: 9.432068833600884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant effort, building models that are both interpretable and accurate is an unresolved challenge for many pattern recognition problems. In general, rule-based and linear models lack accuracy, while deep learning interpretability is based on rough approximations of the underlying inference. Using a linear combination of conjunctive clauses in propositional logic, Tsetlin Machines (TMs) have shown competitive performance on diverse benchmarks. However, to do so, many clauses are needed, which impacts interpretability. Here, we address the accuracy-interpretability challenge in machine learning by equipping the TM clauses with integer weights. The resulting Integer Weighted TM (IWTM) deals with the problem of learning which clauses are inaccurate and thus must team up to obtain high accuracy as a team (low weight clauses), and which clauses are sufficiently accurate to operate more independently (high weight clauses). Since each TM clause is formed adaptively by a team of Tsetlin Automata, identifying effective weights becomes a challenging online learning problem. We address this problem by extending each team of Tsetlin Automata with a stochastic searching on the line (SSL) automaton. In our novel scheme, the SSL automaton learns the weight of its clause in interaction with the corresponding Tsetlin Automata team, which, in turn, adapts the composition of the clause by the adjusting weight. We evaluate IWTM empirically using five datasets, including a study of interpetability. On average, IWTM uses 6.5 times fewer literals than the vanilla TM and 120 times fewer literals than a TM with real-valued weights. Furthermore, in terms of average F1-Score, IWTM outperforms simple Multi-Layered Artificial Neural Networks, Decision Trees, Support Vector Machines, K-Nearest Neighbor, Random Forest, XGBoost, Explainable Boosting Machines, and standard and real-value weighted TMs.
• Abstract（参考訳）: かなりの努力にもかかわらず、解釈可能かつ正確であるモデルの構築は、多くのパターン認識問題に対する未解決の課題である。 一般に、ルールベースと線形モデルは正確性に欠けるが、ディープラーニングの解釈性は基礎となる推論の粗い近似に基づいている。 命題論理における連結節の線形結合を用いて、tsetlinマシン(tms)は様々なベンチマークで競合性能を示している。 しかし、そのためには多くの節が必要であり、解釈可能性に影響を与える。 本稿では,TM節に整数重みを付与することにより,機械学習における精度・解釈可能性の問題に対処する。 結果として得られたInteger Weighted TM (IWTM) は、どの節が不正確で、チームとして高い精度(低ウェイト節)を得るためには、どの節がより独立して操作するのに十分正確か(高ウェイト節)を学習する問題を扱う。 各TM節は、Tsetlin Automataのチームによって適応的に形成されるため、効果的な重みの同定は、オンライン学習の問題となる。 我々は,Tsetlin Automataの各チームをライン(SSL)オートマトン上で確率的に探索することで,この問題に対処する。 提案方式では,SSL オートマトンは対応する Tsetlin Automata チームと相互作用して節の重みを学習し,その重みによって節の構成を適応させる。 我々は5つのデータセットを用いてiwtmを経験的に評価する。 平均すると、IWTMはバニラTMの6.5倍のリテラルを使用し、実際の重量を持つTMの120倍のリテラルを使用する。 さらに、平均F1スコアでは、IWTMは、単純な多層ニューラルネットワーク、決定木、サポートベクトルマシン、K-Nearest Neighbor、Random Forest、XGBoost、説明可能なブースティングマシン、および標準および実値重み付きTMよりも優れている。

関連論文リスト

• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Test-Time Self-Adaptive Small Language Models for Question Answering [63.91013329169796]
  ラベルのないテストデータのみを用いて、より小さな自己適応型LMの能力を示し、検討する。 提案した自己適応戦略は,ベンチマークQAデータセットの大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-10-20T06:49:32Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Building Concise Logical Patterns by Constraining Tsetlin Machine Clause Size [11.43224924974832]
  本稿では,CSC-TM(Clauuse Size Constrained TMs)の新たな変種について紹介する。 ある節が制約よりも多くのリテラルを含むとすぐに、リテラルを消し始める。 以上の結果より,CSC-TMはリテラルの最大80倍の精度を維持した。
  論文  参考訳（メタデータ） (2023-01-19T17:37:48Z)
• Improving Rare Word Recognition with LM-aware MWER Training [50.241159623691885]
  本稿では,ハイブリッド自己回帰変換器(HAT)モデルを識別訓練フレームワークで学習する際のLMを紹介する。 浅層核融合では,仮説生成と損失計算の両方でLMを用いており,LM対応MWER学習モデルでは相対的な10%の改善が達成されている。 再構成セットアップでは、小さなニューラルネットワークモジュールを学習し、データ依存の方法で核融合重みを生成する。
  論文  参考訳（メタデータ） (2022-04-15T17:19:41Z)
• Coalesced Multi-Output Tsetlin Machines with Clause Sharing [7.754230120409288]
  有限状態機械を用いてパターンを学習し、いくつかのベンチマークで競合精度と学習速度を得た。 句共有を導入し、複数のTMを1つにマージします。 MNIST, Fashion-MNIST, Kuzushiji-MNIST による実験結果から, CoTM は50ドルから1ドルで TM よりも有意に精度が高いことがわかった。
  論文  参考訳（メタデータ） (2021-08-17T12:52:01Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Increasing the Inference and Learning Speed of Tsetlin Machines with Clause Indexing [9.440900386313215]
  Tsetlin Machine (TM) は、古典的なTsetlin Automaton (TA) とゲーム理論に基づいて開発された機械学習アルゴリズムである。 我々は,MNISTとFashion-MNISTの画像分類とIMDbの感情分析を最大15倍,学習速度が3倍に向上したことを報告した。
  論文  参考訳（メタデータ） (2020-04-07T08:16:07Z)
• A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation [9.432068833600884]
  Regression Tsetlin Machine (RTM) は、最先端の非線形回帰モデルに干渉する解釈可能性の欠如に対処する。 整数重み付き節を導入し,計算コストをN倍に削減し,解釈可能性を高める。 6つの人工データセットを用いて整数重み付きRTMのポテンシャルを評価する。
  論文  参考訳（メタデータ） (2020-02-04T12:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。