論文の概要: Generalized Convergence Analysis of Tsetlin Machines: A Probabilistic Approach to Concept Learning

• arxiv url: http://arxiv.org/abs/2310.02005v1
• Date: Tue, 3 Oct 2023 12:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 14:31:27.521158
• Title: Generalized Convergence Analysis of Tsetlin Machines: A Probabilistic Approach to Concept Learning
• Title（参考訳）: Tsetlinマシンの一般化収束解析:概念学習への確率論的アプローチ
• Authors: Mohamed-Bachir Belaid, Jivitesh Sharma, Lei Jiao, Ole-Christoffer Granmo, Per-Arne Andersen, Anis Yazidi
• Abstract要約: 本稿では,Tsetlinオートマトンに基づく機械学習アルゴリズムの総合収束解析について述べる。 本稿では,確率論的概念学習(PCL, Probabilistic Concept Learning)と呼ばれる新しいフレームワークを提案する。 我々は、任意の節$C_k$に対して、PCLが0.5p_k1$のときにリテラルの結合に収束することを確認する理論的証明を確立する。
• 参考スコア（独自算出の注目度）: 20.519261060300302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tsetlin Machines (TMs) have garnered increasing interest for their ability to learn concepts via propositional formulas and their proven efficiency across various application domains. Despite this, the convergence proof for the TMs, particularly for the AND operator (\emph{conjunction} of literals), in the generalized case (inputs greater than two bits) remains an open problem. This paper aims to fill this gap by presenting a comprehensive convergence analysis of Tsetlin automaton-based Machine Learning algorithms. We introduce a novel framework, referred to as Probabilistic Concept Learning (PCL), which simplifies the TM structure while incorporating dedicated feedback mechanisms and dedicated inclusion/exclusion probabilities for literals. Given $n$ features, PCL aims to learn a set of conjunction clauses $C_i$ each associated with a distinct inclusion probability $p_i$. Most importantly, we establish a theoretical proof confirming that, for any clause $C_k$, PCL converges to a conjunction of literals when $0.5<p_k<1$. This result serves as a stepping stone for future research on the convergence properties of Tsetlin automaton-based learning algorithms. Our findings not only contribute to the theoretical understanding of Tsetlin Machines but also have implications for their practical application, potentially leading to more robust and interpretable machine learning models.
• Abstract（参考訳）: Tsetlin Machines (TMs) は、命題公式を通じて概念を学習し、様々なアプリケーション領域にわたってその実証された効率性に対する関心が高まっている。 それにもかかわらず、TM の収束証明、特にリテラルの AND 作用素 (\emph{conjunction}) は、一般化された場合(2ビット以上の入力)では未解決の問題である。 本稿では,Tsetlinオートマトンに基づく機械学習アルゴリズムの総合収束解析により,このギャップを埋めることを目的とする。 本稿では,リテラルのための専用フィードバック機構と専用インクルージョン/排他確率を取り入れながら,tm構造を単純化するprobabilistic concept learning(pcl)と呼ばれる新しいフレームワークを提案する。 n$の機能を考えると、pcl は、個別の包含確率 $p_i$ と関連づけられた結合句 $c_i$ のセットを学ぶことを目指している。 最も重要なことは、$C_k$ に対して PCL が$0.5<p_k<1$ のときにリテラルの結合に収束することを確認する理論的証明を確立することである。 この結果は、tsetlin automatonベースの学習アルゴリズムの収束特性に関する将来の研究の足場となる。 本研究は,tsetlinマシンの理論的理解に寄与するだけでなく,その実用的応用にも寄与し,より堅牢で解釈可能な機械学習モデルに繋がる可能性が示唆された。

関連論文リスト

• On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning [87.73401758641089]
  CoT推論による現代言語モデル(LM)の性能向上 LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T10:59:02Z)
• Tractable Bounding of Counterfactual Queries by Knowledge Compilation [51.47174989680976]
  本稿では, パール構造因果モデルにおいて, 因果関係などの部分的特定可能なクエリのバウンダリングの問題について議論する。 最近提案された反復EMスキームは初期化パラメータをサンプリングしてそれらの境界を内部近似する。 シンボルパラメータを実際の値に置き換えた回路構造を,単一のシンボル知識コンパイルによって得られることを示す。
  論文  参考訳（メタデータ） (2023-10-05T07:10:40Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• A Simple and General Debiased Machine Learning Theorem with Finite Sample Guarantees [4.55274575362193]
  我々は、あらゆる機械学習アルゴリズムのグローバルまたはローカル機能を含む、漸近的不偏性機械学習定理を提供する。 この結果は、アナリストが現代の学習理論の速度を従来の統計的推論に翻訳するために使用できる、単純な条件のセットで決定される。
  論文  参考訳（メタデータ） (2021-05-31T17:57:02Z)
• pRSL: Interpretable Multi-label Stacking by Learning Probabilistic Rules [0.0]
  本稿では,確率論的命題論理則と信念伝播を用いた確率論的ルールスタックリング(pRSL)を提案し,その基礎となる分類器の予測と組み合わせる。 精度と近似推論と学習のためのアルゴリズムを導出し、様々なベンチマークデータセット上でpRSLが最先端の性能に達することを示す。
  論文  参考訳（メタデータ） (2021-05-28T14:06:21Z)
• On the Convergence of Tsetlin Machines for the XOR Operator [16.85020149902772]
  Tsetlin Machine(TM)は、いくつかの異なる特性を持つ新しい機械学習アルゴリズムです。 入力がxor演算子の出力と非線形関係にある場合のtmの収束を分析する。
  論文  参考訳（メタデータ） (2021-01-07T14:13:41Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• On the Convergence of Tsetlin Machines for the IDENTITY- and NOT Operators [14.186377732379045]
  我々は,分類に係わる1つの節のみを用いて,Tsetlin Machineの収束を分析する。 分析の結果、TMは1つの節だけで、意図した論理演算子に正しく収束できることが判明した。 2つの基本作用素の収束の解析は、他の論理作用素を分析する基礎となる。
  論文  参考訳（メタデータ） (2020-07-28T14:31:16Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。