論文の概要: On the Equivalence of the Weighted Tsetlin Machine and the Perceptron
- arxiv url: http://arxiv.org/abs/2212.13634v1
- Date: Tue, 27 Dec 2022 22:38:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 15:45:44.771186
- Title: On the Equivalence of the Weighted Tsetlin Machine and the Perceptron
- Title（参考訳）: 重み付きtsetlinマシンとパーセプトロンの等価性について
- Authors: Jivitesh Sharma, Ole-Christoffer Granmo and Lei Jiao
- Abstract要約: Tsetlin Machine (TM) は本質的に解釈可能な機械傾き法として人気を集めている。
良い特性を持っているが、TMはAIアプリケーションのためのゴーツーメソッドではない。
- 参考スコア（独自算出の注目度）: 12.48513712803069
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tsetlin Machine (TM) has been gaining popularity as an inherently
interpretable machine leaning method that is able to achieve promising
performance with low computational complexity on a variety of applications. The
interpretability and the low computational complexity of the TM are inherited
from the Boolean expressions for representing various sub-patterns. Although
possessing favorable properties, TM has not been the go-to method for AI
applications, mainly due to its conceptual and theoretical differences compared
with perceptrons and neural networks, which are more widely known and well
understood. In this paper, we provide detailed insights for the operational
concept of the TM, and try to bridge the gap in the theoretical understanding
between the perceptron and the TM. More specifically, we study the operational
concept of the TM following the analytical structure of perceptrons, showing
the resemblance between the perceptrons and the TM. Through the analysis, we
indicated that the TM's weight update can be considered as a special case of
the gradient weight update. We also perform an empirical analysis of TM by
showing the flexibility in determining the clause length, visualization of
decision boundaries and obtaining interpretable boolean expressions from TM. In
addition, we also discuss the advantages of TM in terms of its structure and
its ability to solve more complex problems.
- Abstract（参考訳）: tsetlin machine (tm) は、様々なアプリケーションで計算複雑性の少ない有望な性能を実現することができる、本質的に解釈可能な機械傾き法として人気を集めている。
tmの解釈可能性と計算複雑性の低さは、様々なサブパターンを表現するブール表現から継承される。
TMは良好な特性を持つが、主に広く知られよく理解されている知覚論やニューラルネットワークと概念的、理論的に異なるため、AI応用のためのゴートメソッドにはなっていない。
本稿では,TMの操作概念に関する詳細な知見を提供し,知覚論とTMの理論的理解のギャップを埋めようとしている。
具体的には, パーセプトロンの解析構造に従ってTMの動作概念を考察し, パーセプトロンとTMとの類似性を示す。
この結果から,tmの重み更新は勾配重み更新の特別な場合と考えることができることが示唆された。
また,TMから節長の決定,決定境界の可視化,解釈可能なブール表現の取得の柔軟性を示すことで,TMの実験的解析を行う。
さらに,その構造と,より複雑な問題を解く能力の観点から,TMの利点についても論じる。
関連論文リスト
- Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。
この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
論文 参考訳（メタデータ） (2024-11-04T15:54:32Z) - The Probabilistic Tsetlin Machine: A Novel Approach to Uncertainty Quantification [1.0499611180329802]
本稿では,不確実性定量化のための堅牢で信頼性の高い,解釈可能なアプローチを実現することを目的とした,確率的テセリンマシン(PTM)フレームワークを提案する。
オリジナルのTMとは異なり、PTMは全ての節にわたって各Tsetlin Automaton(TA)の各状態に留まる確率を学習する。
推論中、TAは学習された確率分布に基づいて状態のサンプリングによって行動を決定する。
論文 参考訳（メタデータ） (2024-10-23T13:20:42Z) - Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳（メタデータ） (2023-08-19T08:17:41Z) - Understanding Masked Autoencoders via Hierarchical Latent Variable
Models [109.35382136147349]
Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。
MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
論文 参考訳（メタデータ） (2023-06-08T03:00:10Z) - A Free Lunch from the Noise: Provable and Practical Exploration for
Representation Learning [55.048010996144036]
ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。
本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
論文 参考訳（メタデータ） (2021-11-22T19:24:57Z) - Pre-Trained Models: Past, Present and Future [126.21572378910746]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。
知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。
AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
論文 参考訳（メタデータ） (2021-06-14T02:40:32Z) - Distributed Word Representation in Tsetlin Machine [14.62945824459286]
Tsetlin Machine (TM) は命題論理に基づく解釈可能なパターン認識アルゴリズムである。
tmに事前学習した単語表現を用いる新しい手法を提案する。
このアプローチはTM性能を大幅に向上させ、同時に解釈性を維持します。
論文 参考訳（メタデータ） (2021-04-14T14:48:41Z) - On the Convergence of Tsetlin Machines for the XOR Operator [16.85020149902772]
Tsetlin Machine(TM)は、いくつかの異なる特性を持つ新しい機械学習アルゴリズムです。
入力がxor演算子の出力と非線形関係にある場合のtmの収束を分析する。
論文 参考訳（メタデータ） (2021-01-07T14:13:41Z) - Generalization Properties of Optimal Transport GANs with Latent
Distribution Learning [52.25145141639159]
本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。
我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
論文 参考訳（メタデータ） (2020-07-29T07:31:33Z) - On the Convergence of Tsetlin Machines for the IDENTITY- and NOT
Operators [14.186377732379045]
我々は,分類に係わる1つの節のみを用いて,Tsetlin Machineの収束を分析する。
分析の結果、TMは1つの節だけで、意図した論理演算子に正しく収束できることが判明した。
2つの基本作用素の収束の解析は、他の論理作用素を分析する基礎となる。
論文 参考訳（メタデータ） (2020-07-28T14:31:16Z) - Complex Markov Logic Networks: Expressivity and Liftability [10.635097939284751]
マルコフ論理ネットワーク(MLN)の表現性について検討する。
複素数値重みを用いた複素MLNを導入する。
実数値重みを持つ標準MLNとは異なり、複素MLNは完全に表現可能であることを示す。
論文 参考訳（メタデータ） (2020-02-24T13:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。