Fugu-MT 論文翻訳(概要): Exploring State Space and Reasoning by Elimination in Tsetlin Machine

論文の概要: Exploring State Space and Reasoning by Elimination in Tsetlin Machine

arxiv url: http://arxiv.org/abs/2407.09162v1
Date: Fri, 12 Jul 2024 10:58:01 GMT
ステータス: 処理完了
システム内更新日: 2024-07-15 23:47:49.970978
Title: Exploring State Space and Reasoning by Elimination in Tsetlin Machine
Title（参考訳）: Tsetlin マシンの除去による状態空間の探索と推論
Authors: Ahmed K. Kadhim, Ole-Christoffer Granmo, Lei Jiao, Rishad Shafik,
Abstract要約: Tsetlin Machine(TM)は機械学習(ML)において大きな注目を集めている。 TMは、単語の埋め込みを構築し、節を使ってターゲット語を記述するために使われる。これらの節の記述能力を高めるために,節の定式化におけるReasoning by Elimination(RbE)の概念を検討した。
参考スコア（独自算出の注目度）: 14.150011713654331
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Tsetlin Machine (TM) has gained significant attention in Machine Learning (ML). By employing logical fundamentals, it facilitates pattern learning and representation, offering an alternative approach for developing comprehensible Artificial Intelligence (AI) with a specific focus on pattern classification in the form of conjunctive clauses. In the domain of Natural Language Processing (NLP), TM is utilised to construct word embedding and describe target words using clauses. To enhance the descriptive capacity of these clauses, we study the concept of Reasoning by Elimination (RbE) in clauses' formulation, which involves incorporating feature negations to provide a more comprehensive representation. In more detail, this paper employs the Tsetlin Machine Auto-Encoder (TM-AE) architecture to generate dense word vectors, aiming at capturing contextual information by extracting feature-dense vectors for a given vocabulary. Thereafter, the principle of RbE is explored to improve descriptivity and optimise the performance of the TM. Specifically, the specificity parameter s and the voting margin parameter T are leveraged to regulate feature distribution in the state space, resulting in a dense representation of information for each clause. In addition, we investigate the state spaces of TM-AE, especially for the forgotten/excluded features. Empirical investigations on artificially generated data, the IMDB dataset, and the 20 Newsgroups dataset showcase the robustness of the TM, with accuracy reaching 90.62\% for the IMDB.
Abstract（参考訳）: Tsetlin Machine(TM)は機械学習(ML)において大きな注目を集めている。論理的基礎を用いることで、パターン学習と表現を容易にし、結語節という形でパターン分類に特化して理解可能な人工知能(AI)を開発するための代替のアプローチを提供する。自然言語処理(NLP)の分野において、TMは単語の埋め込みを構築し、節を用いてターゲット語を記述するために用いられる。これらの節の記述能力を高めるために、より包括的な表現を提供するために特徴否定を取り入れた節の定式化において、Reasoning by Elimination(RbE)の概念を研究する。より詳しくは、Tsetlin Machine Auto-Encoder (TM-AE) アーキテクチャを用いて、与えられた語彙に対して特徴量ベクトルを抽出してコンテキスト情報を取得することを目的とした、高密度な単語ベクトルを生成する。その後、RbEの原理は記述性を改善し、TMの性能を最適化するために研究される。具体的には、特異性パラメータsと投票マージンパラメータTを利用して状態空間の特徴分布を規制し、各節の情報を密に表現する。さらに, TM-AEの状態空間, 特に忘れられた, 除外された特徴について検討する。人工的に生成されたデータ、IMDBデータセット、20ニューズグループデータセットに関する実証的研究は、IMDBの精度が90.62\%に達するTMの堅牢性を示している。

関連論文リスト

A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
論文参考訳（メタデータ） (2024-03-05T13:55:16Z)
Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
論文参考訳（メタデータ） (2024-01-03T02:44:02Z)
Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文参考訳（メタデータ） (2023-12-21T11:45:28Z)
An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文参考訳（メタデータ） (2023-04-17T17:13:42Z)
Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文参考訳（メタデータ） (2022-12-19T11:26:23Z)
Interpretable and Low-Resource Entity Matching via Decoupling Feature Learning from Decision Making [22.755892575582788]
Entity Matchingは、同じ現実世界のオブジェクトを表すエンティティレコードを認識することを目的としている。異種情報融合(HIF)とキー属性ツリー(KAT)誘導からなる新しいEMフレームワークを提案する。提案手法は効率が高く,ほとんどの場合SOTA EMモデルより優れている。
論文参考訳（メタデータ） (2021-06-08T08:27:31Z)
Distributed Word Representation in Tsetlin Machine [14.62945824459286]
Tsetlin Machine (TM) は命題論理に基づく解釈可能なパターン認識アルゴリズムである。 tmに事前学習した単語表現を用いる新しい手法を提案する。このアプローチはTM性能を大幅に向上させ、同時に解釈性を維持します。
論文参考訳（メタデータ） (2021-04-14T14:48:41Z)
Modelling General Properties of Nouns by Selectively Averaging Contextualised Embeddings [46.49372320363155]
本稿では,BERTによって予測される文脈的埋め込みを用いて,高品質な単語ベクトルを生成する方法を示す。マスク付き単語参照の文脈的埋め込みを平均化する単純な戦略が静的な単語ベクトルよりも優れたベクトルをもたらすことが判明した。
論文参考訳（メタデータ） (2020-12-04T14:03:03Z)
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文参考訳（メタデータ） (2020-09-23T15:45:32Z)
Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data [7.05622249909585]
TMモデルが特定の予測を行う理由(局所的解釈可能性)を理解するためのクローズドフォーム表現を提案する。また、連続した特徴に対する特徴値範囲の重要性を測定するための式も導入する。分類と回帰については,XGBoost, Explainable Boosting Machines, Neural Additive Modelsと比較し, SHAPとの対応, および競合予測精度を示す。
論文参考訳（メタデータ） (2020-07-27T21:47:24Z)
Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction [20.644215991166902]
DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。提案手法は評価データセットの最先端アルゴリズムより優れている。
論文参考訳（メタデータ） (2020-03-10T13:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。