論文の概要: Increasing the Inference and Learning Speed of Tsetlin Machines with
Clause Indexing
- arxiv url: http://arxiv.org/abs/2004.03188v1
- Date: Tue, 7 Apr 2020 08:16:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 22:35:32.084863
- Title: Increasing the Inference and Learning Speed of Tsetlin Machines with
Clause Indexing
- Title(参考訳): 節インデクシングを用いたtsetlinマシンの推論と学習速度の向上
- Authors: Saeed Rahimi Gorji, Ole-Christoffer Granmo, Sondre Glimsdal, Jonathan
Edwards, Morten Goodwin
- Abstract要約: Tsetlin Machine (TM) は、古典的なTsetlin Automaton (TA) とゲーム理論に基づいて開発された機械学習アルゴリズムである。
我々は,MNISTとFashion-MNISTの画像分類とIMDbの感情分析を最大15倍,学習速度が3倍に向上したことを報告した。
- 参考スコア(独自算出の注目度): 9.440900386313215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Tsetlin Machine (TM) is a machine learning algorithm founded on the
classical Tsetlin Automaton (TA) and game theory. It further leverages frequent
pattern mining and resource allocation principles to extract common patterns in
the data, rather than relying on minimizing output error, which is prone to
overfitting. Unlike the intertwined nature of pattern representation in neural
networks, a TM decomposes problems into self-contained patterns, represented as
conjunctive clauses. The clause outputs, in turn, are combined into a
classification decision through summation and thresholding, akin to a logistic
regression function, however, with binary weights and a unit step output
function. In this paper, we exploit this hierarchical structure by introducing
a novel algorithm that avoids evaluating the clauses exhaustively. Instead we
use a simple look-up table that indexes the clauses on the features that
falsify them. In this manner, we can quickly evaluate a large number of clauses
through falsification, simply by iterating through the features and using the
look-up table to eliminate those clauses that are falsified. The look-up table
is further structured so that it facilitates constant time updating, thus
supporting use also during learning. We report up to 15 times faster
classification and three times faster learning on MNIST and Fashion-MNIST image
classification, and IMDb sentiment analysis.
- Abstract(参考訳): Tsetlin Machine (TM) は、古典的なTsetlin Automaton (TA) とゲーム理論に基づいて開発された機械学習アルゴリズムである。
さらに、頻繁なパターンマイニングとリソース割り当ての原則を活用して、出力エラーの最小化に頼るのではなく、データの共通パターンを抽出する。
ニューラルネットワークにおけるパターン表現の絡み合った性質とは異なり、TMは問題を自己完結したパターンに分解し、共役節として表現する。
次に、節出力は、二元重みと単位ステップ出力関数を備えたロジスティック回帰関数に類似した和としきい値による分類決定に結合される。
本稿では,この階層構造を利用して,節を網羅的に評価しない新しいアルゴリズムを提案する。
代わりに、偽装する機能に関する節をインデックスする単純なルックアップテーブルを使用します。
この方法では、単にフィーチャを反復してルックアップテーブルを使用して、偽造された節を排除するだけで、偽化を通じて多数の節を迅速に評価することができる。
ルックアップテーブルはさらに、一定の時間更新を容易にするように構成されており、学習時の使用もサポートする。
我々は,MNISTとFashion-MNISTの画像分類とIMDbの感情分析を最大15倍,学習速度が3倍に向上したことを報告した。
関連論文リスト
- Boosting gets full Attention for Relational Learning [27.82663283409287]
本研究では,木質モデルとうまく融合した構造化データに対する注意機構を,(漸進的な)ブースティングのトレーニングコンテキストで導入する。
シミュレーションおよび実世界のドメインに関する実験は、木に基づくモデルとニューラルネットベースのモデルの両方を含む最先端技術に対する我々の手法の競争力を示す。
論文 参考訳(メタデータ) (2024-02-22T19:16:01Z) - Chain-of-Table: Evolving Tables in the Reasoning Chain for Table
Understanding [79.9461269253121]
そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。
Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-01-09T07:46:26Z) - Mitigating the Learning Bias towards Repetition by Self-Contrastive
Training for Open-Ended Generation [92.42032403795879]
GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。
トークンレベルの反復確率の過大評価は学習バイアスに起因している。
LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
論文 参考訳(メタデータ) (2023-07-04T07:53:55Z) - KNN-LM Does Not Improve Open-ended Text Generation [34.86733697757264]
検索強化言語モデル(LM)の生成品質について検討する。
検索分布の補間は, ベースライントランスフォーマーLMと比較して, 実際にパープレキシティを増大させることがわかった。
検索分布のエントロピーは、生成シーケンスが長くなるにつれて、ベースLMのエントロピーよりも速く増加する。
論文 参考訳(メタデータ) (2023-05-24T01:48:33Z) - LORE: Logical Location Regression Network for Table Structure
Recognition [24.45544796305824]
テーブル構造認識は、画像中のテーブルを機械的に理解可能なフォーマットに抽出することを目的としている。
近年の方法では,検出されたセルボックスの隣接関係を予測してこの問題を解決している。
LOREと呼ばれる新しいTSRフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-07T08:42:46Z) - Toward a Unified Framework for Unsupervised Complex Tabular Reasoning [7.275757913661363]
本稿では,教師なし複雑な表型推論のための統一的なフレームワークを提案する。
ヒューマンアノテートされたデータを全く含まないと仮定して、タスクを推論するための複雑な論理を持つ十分かつ多様な合成データを生成する。
実験の結果,教師なし手法は教師なしモデルと比較して,少なくとも93%の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2022-12-20T09:15:03Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-11T21:58:15Z) - Reinforcement Learning Based Query Vertex Ordering Model for Subgraph
Matching [58.39970828272366]
グラフマッチングアルゴリズムは、クエリグラフの埋め込みをデータグラフGに列挙する。
マッチング順序は、これらのバックトラックに基づくサブグラフマッチングアルゴリズムの時間効率において重要な役割を果たす。
本稿では,Reinforcement Learning (RL) と Graph Neural Networks (GNN) 技術を適用して,グラフマッチングアルゴリズムの高品質なマッチング順序を生成する。
論文 参考訳(メタデータ) (2022-01-25T00:10:03Z) - Logic Constrained Pointer Networks for Interpretable Textual Similarity [11.142649867439406]
本稿では, セシネルゲーティング機能を備えた新しいポインターネットワークモデルを導入し, 構成チャンクを整列させる。
両文の相違を等しく補償し、アライメントが双方向であることを保証するために、損失関数によるこのベースモデルを改善する。
このモデルは、チャンクアライメントタスクのためのベンチマークSemEvalデータセットにおいて、97.73と96.32のF1スコアを達成する。
論文 参考訳(メタデータ) (2020-07-15T13:01:44Z) - Multi-Step Inference for Reasoning Over Paragraphs [95.91527524872832]
テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。
本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
論文 参考訳(メタデータ) (2020-04-06T21:12:53Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳(メタデータ) (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。