論文の概要: Human Interpretable AI: Enhancing Tsetlin Machine Stochasticity with Drop Clause

• arxiv url: http://arxiv.org/abs/2105.14506v1
• Date: Sun, 30 May 2021 11:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 09:50:09.962185
• Title: Human Interpretable AI: Enhancing Tsetlin Machine Stochasticity with Drop Clause
• Title（参考訳）: 人間の解釈可能なAI:Drop ClauseでTsetlinマシンの確率を高める
• Authors: Jivitesh Sharma, Rohan Yadav, Ole-Christoffer Granmo and Lei Jiao
• Abstract要約: 本稿では,TMの重要な学習要素をランダムにドロップする,Tsetlin Machine (TM) の新たな変種を紹介する。 精度は+2%から+4%,学習速度は2倍から4倍に向上した。 解析可能な機械学習アルゴリズムがピクセルレベルの人間解釈可能な結果を生成するのはこれが初めてである。
• 参考スコア（独自算出の注目度）: 15.981632159103183
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this article, we introduce a novel variant of the Tsetlin machine (TM) that randomly drops clauses, the key learning elements of a TM. In effect, TM with drop clause ignores a random selection of the clauses in each epoch, selected according to a predefined probability. In this way, additional stochasticity is introduced in the learning phase of TM. Along with producing more distinct and well-structured patterns that improve the performance, we also show that dropping clauses increases learning robustness. To explore the effects clause dropping has on accuracy, training time, and interpretability, we conduct extensive experiments on various benchmark datasets in natural language processing (NLP) (IMDb and SST2) as well as computer vision (MNIST and CIFAR10). In brief, we observe from +2% to +4% increase in accuracy and 2x to 4x faster learning. We further employ the Convolutional TM to document interpretable results on the CIFAR10 dataset. To the best of our knowledge, this is the first time an interpretable machine learning algorithm has been used to produce pixel-level human-interpretable results on CIFAR10. Also, unlike previous interpretable methods that focus on attention visualisation or gradient interpretability, we show that the TM is a more general interpretable method. That is, by producing rule-based propositional logic expressions that are \emph{human}-interpretable, the TM can explain how it classifies a particular instance at the pixel level for computer vision and at the word level for NLP.
• Abstract（参考訳）: 本稿では,TM の重要な学習要素である節をランダムにドロップする Tsetlin Machine (TM) の新たな変種を紹介する。 事実上、ドロップ節を持つTMは、予め定義された確率に応じて選択された各エポックにおける節のランダムな選択を無視する。 このようにして、TMの学習フェーズにさらなる確率性を導入する。 パフォーマンスを改善するために、より明瞭でよく構造化されたパターンを生成するとともに、節のドロップが学習の堅牢性を高めることも示しています。 そこで本研究では,自然言語処理(nlp,imdb,sst2)とコンピュータビジョン(mnist,cifar10)の様々なベンチマークデータセットについて,文節の削除が正確性,訓練時間,解釈性に与える影響を検討する。 要約すると、精度は+2%から+4%、学習速度は2倍から4倍に向上しています。 さらに、CIFAR10データセット上での解釈結果の文書化にConvolutional TMを使用します。 我々の知る限りでは、CIFAR10で画素レベルの人間解釈結果を生成するために、解釈可能な機械学習アルゴリズムが使用されるのはこれが初めてである。 また,注目の可視化や勾配の解釈性に着目した従来の解釈可能な手法とは異なり,TMはより一般的な解釈可能な手法であることを示す。 すなわち、規則に基づく命題論理式を「emph{ human}-prepretable」として生成することにより、コンピュータビジョンのピクセルレベルで、NLPのワードレベルで、特定のインスタンスをどのように分類するかを説明することができる。

関連論文リスト

• Pruning Literals for Highly Efficient Explainability at Word Level [13.249876381579158]
  Tsetlin Machine(TM)は、命題論理を用いた単語レベルの説明を提供する能力があるので、有望である。 本稿では,文中にランダムに置かれるリテラルを排除した節のポストホックプルーニングを設計する。 一般公開されたYELP-HATデータセットの実験では、提案されたプルーンドTMのアテンションマップが、バニラTMのアテンションマップよりも人間のアテンションマップと一致していることが示されている。
  論文  参考訳（メタデータ） (2024-11-07T09:28:38Z)
• Exploring Simple Open-Vocabulary Semantic Segmentation [7.245983878396646]
  オープン語彙セマンティックセグメンテーションモデルは、任意のオープン語彙テキストの集合から画像中の各ピクセルにセマンティックラベルを正確に割り当てることを目的としている。 本稿では,これらの要素に依存することなく驚くほど高い性能を実現する新モデルであるS-Segを紹介する。
  論文  参考訳（メタデータ） (2024-01-22T18:59:29Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Interpretable Sentence Representation with Variational Autoencoders and Attention [0.685316573653194]
  自然言語処理(NLP)における近年の表現学習技術の解釈可能性を高める手法を開発した。 変動オートエンコーダ (VAEs) は, 遅延生成因子の観測に有効である。 帰納的バイアスを持つ2つのモデルを構築し、潜在表現の情報を注釈付きデータなしで理解可能な概念に分離する。
  論文  参考訳（メタデータ） (2023-05-04T13:16:15Z)
• TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [53.974228542090046]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、最近、ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。 CLIPのテキストとパッチの埋め込みを利用してセマンティックマスクを生成する既存のアプローチは、しばしば目に見えないクラスから入力ピクセルを誤識別する。 この問題に対処するためにTagCLIP(Trusty-aware guideed CLIP)を提案する。
  論文  参考訳（メタデータ） (2023-04-15T12:52:23Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Distributed Word Representation in Tsetlin Machine [14.62945824459286]
  Tsetlin Machine (TM) は命題論理に基づく解釈可能なパターン認識アルゴリズムである。 tmに事前学習した単語表現を用いる新しい手法を提案する。 このアプローチはTM性能を大幅に向上させ、同時に解釈性を維持します。
  論文  参考訳（メタデータ） (2021-04-14T14:48:41Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。