論文の概要: TMComposites: Plug-and-Play Collaboration Between Specialized Tsetlin
Machines
- arxiv url: http://arxiv.org/abs/2309.04801v1
- Date: Sat, 9 Sep 2023 14:00:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 16:18:04.609877
- Title: TMComposites: Plug-and-Play Collaboration Between Specialized Tsetlin
Machines
- Title(参考訳): TMComposites: 特殊なTsetlinマシン間のプラグインとプレイのコラボレーション
- Authors: Ole-Christoffer Granmo
- Abstract要約: 本稿では、TMコンポジットと呼ばれる特殊なTM間のプラグ・アンド・プレイ・コラボレーションを紹介する。
このコラボレーションは、学習中に専門化し、推論中にその能力を評価するTMの能力に依存している。
我々は経験的評価に3つのTM特殊化を実装した。
- 参考スコア(独自算出の注目度): 12.838678214659422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tsetlin Machines (TMs) provide a fundamental shift from arithmetic-based to
logic-based machine learning. Supporting convolution, they deal successfully
with image classification datasets like MNIST, Fashion-MNIST, and CIFAR-2.
However, the TM struggles with getting state-of-the-art performance on CIFAR-10
and CIFAR-100, representing more complex tasks. This paper introduces
plug-and-play collaboration between specialized TMs, referred to as TM
Composites. The collaboration relies on a TM's ability to specialize during
learning and to assess its competence during inference. When teaming up, the
most confident TMs make the decisions, relieving the uncertain ones. In this
manner, a TM Composite becomes more competent than its members, benefiting from
their specializations. The collaboration is plug-and-play in that members can
be combined in any way, at any time, without fine-tuning. We implement three TM
specializations in our empirical evaluation: Histogram of Gradients, Adaptive
Gaussian Thresholding, and Color Thermometers. The resulting TM Composite
increases accuracy on Fashion-MNIST by two percentage points, CIFAR-10 by
twelve points, and CIFAR-100 by nine points, yielding new state-of-the-art
results for TMs. Overall, we envision that TM Composites will enable an
ultra-low energy and transparent alternative to state-of-the-art deep learning
on more tasks and datasets.
- Abstract(参考訳): Tsetlin Machines (TM) は算術ベースから論理ベースの機械学習への根本的なシフトを提供する。
畳み込みをサポートするため、MNIST、Fashion-MNIST、CIFAR-2などの画像分類データセットにうまく対応している。
しかし、TMはCIFAR-10とCIFAR-100で最先端の性能を得るのに苦労し、より複雑なタスクを表現した。
本稿では、TMコンポジットと呼ばれる特殊なTM間のプラグアンドプレイコラボレーションを紹介する。
このコラボレーションは、学習中に専門化し、推論中にその能力を評価するTMの能力に依存している。
チームを組むとき、最も自信のあるtmsが決定を下し、不確かさを軽減します。
このようにして、TMコンポジットはメンバーよりも有能になり、その特殊化の恩恵を受ける。
コラボレーションはプラグイン・アンド・プレイであり、メンバーはいつでも微調整なしで任意の方法で組み合わせることができる。
我々は,グラデーションのヒストグラム,適応ガウスしきい値,色温度計の3つのtm特殊化を実装した。
その結果, Fashion-MNIST の精度は CIFAR-10 の12点, CIFAR-100 の9点に向上し, TM の最先端結果が得られた。
全体として、TMコンポジットは、より多くのタスクやデータセットに関する最先端のディープラーニングに対して、超低エネルギーで透明な代替手段を可能にすると期待しています。
関連論文リスト
- MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。
MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
論文 参考訳(メタデータ) (2024-10-09T18:01:27Z) - MC-MoE: Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
我々は、Mixture-of-Experts大言語モデル(MoE-LLM)のためのトレーニング不要なMixture-CompressorであるMC-MoEを提案する。
MC-MoEは、専門家とトークンの両方の重要性を活用して極端な圧縮を実現する。
例えば、MC-MoEは2.54ビットで76.6%の圧縮を行い、平均精度損失は3.8%に過ぎなかった。
論文 参考訳(メタデータ) (2024-10-08T18:09:38Z) - PMT-MAE: Dual-Branch Self-Supervised Learning with Distillation for Efficient Point Cloud Classification [46.266960248570086]
本稿では,ポイントクラウド分類のための自己教師型学習フレームワークであるPMT-MAEを紹介する。
PMT-MAEは、Transformerとコンポーネントを統合し、リッチな機能をキャプチャするデュアルブランチアーキテクチャを備えている。
PMT-MAEはベースラインのPoint-MAE (93.2%) と教師のPoint-M2AE (93.4%) を上回り、非ネイティブな3Dポイントクラウド表現を学習する能力を示している。
論文 参考訳(メタデータ) (2024-09-03T15:54:34Z) - Multi-Modality Co-Learning for Efficient Skeleton-based Action Recognition [12.382193259575805]
本稿では,効率的な骨格に基づく行動認識のための多モード協調学習(MMCL)フレームワークを提案する。
MMCLフレームワークは,トレーニング期間中に多要素協調学習を行い,推論に簡潔な骨格のみを用いることで効率を向上する。
論文 参考訳(メタデータ) (2024-07-22T15:16:47Z) - SAM as the Guide: Mastering Pseudo-Label Refinement in Semi-Supervised Referring Expression Segmentation [66.92696817276288]
SemiRESは、RESを実行するためにラベル付きデータとラベルなしデータの組み合わせを効果的に活用する半教師付きフレームワークである。
SemiRESはSegment Anything Model (SAM) を組み込んでいる。
利用可能な候補と正確なマスクが一致しない場合、Pixel-Wise Adjustment(PWA)戦略を開発する。
論文 参考訳(メタデータ) (2024-06-03T15:42:30Z) - An Optimized Toolbox for Advanced Image Processing with Tsetlin Machine Composites [9.669581902728552]
我々は最近提案されたTMコンポジットアーキテクチャを活用し、様々なTMスペシャリストを紹介した。
カニーエッジ検出、配向勾配のヒストグラム、適応平均しきい値、適応ガウスしきい値、大津しきい値、色温度計、適応色温度計などである。
その結果、TMのCIFAR-10で82.8%の精度で最新の結果を提供するツールボックスが作られた。
論文 参考訳(メタデータ) (2024-06-02T10:52:48Z) - A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A
Study with Unified Text-to-Image Fidelity Metrics [58.83242220266935]
我々は,T2Iモデルの構成性を評価するためのベンチマークであるWinoground-T2Iを紹介する。
このベンチマークには、20のカテゴリにまたがる11Kの複雑で高品質なコントラスト文ペアが含まれている。
我々は、Winoground-T2Iモデルの性能評価と、その評価に使用される指標の2つの目的を兼ね備えたWinoground-T2Iを用いている。
論文 参考訳(メタデータ) (2023-12-04T20:47:48Z) - On the Equivalence of the Weighted Tsetlin Machine and the Perceptron [12.48513712803069]
Tsetlin Machine (TM) は本質的に解釈可能な機械傾き法として人気を集めている。
良い特性を持っているが、TMはAIアプリケーションのためのゴーツーメソッドではない。
論文 参考訳(メタデータ) (2022-12-27T22:38:59Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳(メタデータ) (2022-12-02T11:40:40Z) - FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task
Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。
本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文 参考訳(メタデータ) (2022-03-24T17:43:12Z) - Transductive Maximum Margin Classifier for Few-Shot Learning [17.18278071760926]
ほとんどショットラーニングは、クラス毎に少数のラベル付きサンプルが与えられた場合に、うまく一般化できる分類器を訓練することを目的としている。
本稿では,TMMC (Transductive Maximum Margin) を導入し,それに対応する学習手法を提案する。
TMMCは、ラベル付きサポートセットとラベルなしクエリセットを混合したタスクで構築される。
論文 参考訳(メタデータ) (2021-07-26T06:02:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。