論文の概要: Increasing the Inference and Learning Speed of Tsetlin Machines with Clause Indexing

• arxiv url: http://arxiv.org/abs/2004.03188v1
• Date: Tue, 7 Apr 2020 08:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 22:35:32.084863
• Title: Increasing the Inference and Learning Speed of Tsetlin Machines with Clause Indexing
• Title（参考訳）: 節インデクシングを用いたtsetlinマシンの推論と学習速度の向上
• Authors: Saeed Rahimi Gorji, Ole-Christoffer Granmo, Sondre Glimsdal, Jonathan Edwards, Morten Goodwin
• Abstract要約: Tsetlin Machine (TM) は、古典的なTsetlin Automaton (TA) とゲーム理論に基づいて開発された機械学習アルゴリズムである。 我々は,MNISTとFashion-MNISTの画像分類とIMDbの感情分析を最大15倍,学習速度が3倍に向上したことを報告した。
• 参考スコア（独自算出の注目度）: 9.440900386313215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Tsetlin Machine (TM) is a machine learning algorithm founded on the classical Tsetlin Automaton (TA) and game theory. It further leverages frequent pattern mining and resource allocation principles to extract common patterns in the data, rather than relying on minimizing output error, which is prone to overfitting. Unlike the intertwined nature of pattern representation in neural networks, a TM decomposes problems into self-contained patterns, represented as conjunctive clauses. The clause outputs, in turn, are combined into a classification decision through summation and thresholding, akin to a logistic regression function, however, with binary weights and a unit step output function. In this paper, we exploit this hierarchical structure by introducing a novel algorithm that avoids evaluating the clauses exhaustively. Instead we use a simple look-up table that indexes the clauses on the features that falsify them. In this manner, we can quickly evaluate a large number of clauses through falsification, simply by iterating through the features and using the look-up table to eliminate those clauses that are falsified. The look-up table is further structured so that it facilitates constant time updating, thus supporting use also during learning. We report up to 15 times faster classification and three times faster learning on MNIST and Fashion-MNIST image classification, and IMDb sentiment analysis.
• Abstract（参考訳）: Tsetlin Machine (TM) は、古典的なTsetlin Automaton (TA) とゲーム理論に基づいて開発された機械学習アルゴリズムである。 さらに、頻繁なパターンマイニングとリソース割り当ての原則を活用して、出力エラーの最小化に頼るのではなく、データの共通パターンを抽出する。 ニューラルネットワークにおけるパターン表現の絡み合った性質とは異なり、TMは問題を自己完結したパターンに分解し、共役節として表現する。 次に、節出力は、二元重みと単位ステップ出力関数を備えたロジスティック回帰関数に類似した和としきい値による分類決定に結合される。 本稿では,この階層構造を利用して,節を網羅的に評価しない新しいアルゴリズムを提案する。 代わりに、偽装する機能に関する節をインデックスする単純なルックアップテーブルを使用します。 この方法では、単にフィーチャを反復してルックアップテーブルを使用して、偽造された節を排除するだけで、偽化を通じて多数の節を迅速に評価することができる。 ルックアップテーブルはさらに、一定の時間更新を容易にするように構成されており、学習時の使用もサポートする。 我々は,MNISTとFashion-MNISTの画像分類とIMDbの感情分析を最大15倍,学習速度が3倍に向上したことを報告した。

関連論文リスト

• Exploring State Space and Reasoning by Elimination in Tsetlin Machines [14.150011713654331]
  Tsetlin Machine(TM)は機械学習(ML)において大きな注目を集めている。 TMは、単語の埋め込みを構築し、節を使ってターゲット語を記述するために使われる。 これらの節の記述能力を高めるために,節の定式化におけるReasoning by Elimination(RbE)の概念を検討した。
  論文  参考訳（メタデータ） (2024-07-12T10:58:01Z)
• Neuro-Symbolic Temporal Point Processes [13.72758658973969]
  本稿では,時間点プロセスモデルにニューラル・シンボリック・ルール誘導フレームワークを導入する。 負の対数類似性は学習を導く損失であり、説明論理則とその重みがエンドツーエンドで学習される。 提案手法は, 合成データセットおよび実データセット間で, 顕著な効率性と精度を示す。
  論文  参考訳（メタデータ） (2024-06-06T09:52:56Z)
• Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains [0.565395466029518]
  そこで本研究では,古典的ビンニング手法に基づく新しいプレテキストタスクを提案する。 その考え方は単純で、元の値ではなく、binインデックス(順序またはクラス)を再構築する。 我々の実証調査では、ビンニングの利点がいくつか確認されている。
  論文  参考訳（メタデータ） (2024-05-13T01:23:14Z)
• Boosting gets full Attention for Relational Learning [27.82663283409287]
  本研究では,木質モデルとうまく融合した構造化データに対する注意機構を,(漸進的な)ブースティングのトレーニングコンテキストで導入する。 シミュレーションおよび実世界のドメインに関する実験は、木に基づくモデルとニューラルネットベースのモデルの両方を含む最先端技術に対する我々の手法の競争力を示す。
  論文  参考訳（メタデータ） (2024-02-22T19:16:01Z)
• Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding [79.9461269253121]
  そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。 Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-01-09T07:46:26Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• LORE: Logical Location Regression Network for Table Structure Recognition [24.45544796305824]
  テーブル構造認識は、画像中のテーブルを機械的に理解可能なフォーマットに抽出することを目的としている。 近年の方法では,検出されたセルボックスの隣接関係を予測してこの問題を解決している。 LOREと呼ばれる新しいTSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-07T08:42:46Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Reinforcement Learning Based Query Vertex Ordering Model for Subgraph Matching [58.39970828272366]
  グラフマッチングアルゴリズムは、クエリグラフの埋め込みをデータグラフGに列挙する。 マッチング順序は、これらのバックトラックに基づくサブグラフマッチングアルゴリズムの時間効率において重要な役割を果たす。 本稿では,Reinforcement Learning (RL) と Graph Neural Networks (GNN) 技術を適用して,グラフマッチングアルゴリズムの高品質なマッチング順序を生成する。
  論文  参考訳（メタデータ） (2022-01-25T00:10:03Z)
• Multi-Step Inference for Reasoning Over Paragraphs [95.91527524872832]
  テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。 本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-06T21:12:53Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。