論文の概要: TMComposites: Plug-and-Play Collaboration Between Specialized Tsetlin
Machines
- arxiv url: http://arxiv.org/abs/2309.04801v1
- Date: Sat, 9 Sep 2023 14:00:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 16:18:04.609877
- Title: TMComposites: Plug-and-Play Collaboration Between Specialized Tsetlin
Machines
- Title(参考訳): TMComposites: 特殊なTsetlinマシン間のプラグインとプレイのコラボレーション
- Authors: Ole-Christoffer Granmo
- Abstract要約: 本稿では、TMコンポジットと呼ばれる特殊なTM間のプラグ・アンド・プレイ・コラボレーションを紹介する。
このコラボレーションは、学習中に専門化し、推論中にその能力を評価するTMの能力に依存している。
我々は経験的評価に3つのTM特殊化を実装した。
- 参考スコア(独自算出の注目度): 12.838678214659422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tsetlin Machines (TMs) provide a fundamental shift from arithmetic-based to
logic-based machine learning. Supporting convolution, they deal successfully
with image classification datasets like MNIST, Fashion-MNIST, and CIFAR-2.
However, the TM struggles with getting state-of-the-art performance on CIFAR-10
and CIFAR-100, representing more complex tasks. This paper introduces
plug-and-play collaboration between specialized TMs, referred to as TM
Composites. The collaboration relies on a TM's ability to specialize during
learning and to assess its competence during inference. When teaming up, the
most confident TMs make the decisions, relieving the uncertain ones. In this
manner, a TM Composite becomes more competent than its members, benefiting from
their specializations. The collaboration is plug-and-play in that members can
be combined in any way, at any time, without fine-tuning. We implement three TM
specializations in our empirical evaluation: Histogram of Gradients, Adaptive
Gaussian Thresholding, and Color Thermometers. The resulting TM Composite
increases accuracy on Fashion-MNIST by two percentage points, CIFAR-10 by
twelve points, and CIFAR-100 by nine points, yielding new state-of-the-art
results for TMs. Overall, we envision that TM Composites will enable an
ultra-low energy and transparent alternative to state-of-the-art deep learning
on more tasks and datasets.
- Abstract(参考訳): Tsetlin Machines (TM) は算術ベースから論理ベースの機械学習への根本的なシフトを提供する。
畳み込みをサポートするため、MNIST、Fashion-MNIST、CIFAR-2などの画像分類データセットにうまく対応している。
しかし、TMはCIFAR-10とCIFAR-100で最先端の性能を得るのに苦労し、より複雑なタスクを表現した。
本稿では、TMコンポジットと呼ばれる特殊なTM間のプラグアンドプレイコラボレーションを紹介する。
このコラボレーションは、学習中に専門化し、推論中にその能力を評価するTMの能力に依存している。
チームを組むとき、最も自信のあるtmsが決定を下し、不確かさを軽減します。
このようにして、TMコンポジットはメンバーよりも有能になり、その特殊化の恩恵を受ける。
コラボレーションはプラグイン・アンド・プレイであり、メンバーはいつでも微調整なしで任意の方法で組み合わせることができる。
我々は,グラデーションのヒストグラム,適応ガウスしきい値,色温度計の3つのtm特殊化を実装した。
その結果, Fashion-MNIST の精度は CIFAR-10 の12点, CIFAR-100 の9点に向上し, TM の最先端結果が得られた。
全体として、TMコンポジットは、より多くのタスクやデータセットに関する最先端のディープラーニングに対して、超低エネルギーで透明な代替手段を可能にすると期待しています。
関連論文リスト
- Lite-Mind: Towards Efficient and Robust Brain Representation Network [23.13231031281597]
Lite-Mindは離散周波数変換(DFT)に基づく軽量で効率的で堅牢な脳表現学習パラダイムである
我々は、Lite-Mindが被写体1のNSDデータセットに対して94.6%のfMRI-to-image検索精度を実現し、MindEyeよりも98.7%少ないパラメータを持つことを示した。
Lite-Mindはまた、より小さなfMRIデータセットに移行できることが証明されており、GODデータセット上でゼロショット分類のための新しい最先端技術を確立している。
論文 参考訳(メタデータ) (2023-12-06T09:39:38Z) - A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A
Study with Unified Text-to-Image Fidelity Metrics [58.83242220266935]
我々は,T2Iモデルの構成性を評価するためのベンチマークであるWinoground-T2Iを紹介する。
このベンチマークには、20のカテゴリにまたがる11Kの複雑で高品質なコントラスト文ペアが含まれている。
我々は、Winoground-T2Iモデルの性能評価と、その評価に使用される指標の2つの目的を兼ね備えたWinoground-T2Iを用いている。
論文 参考訳(メタデータ) (2023-12-04T20:47:48Z) - Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts
for Zero-Shot Dialogue State Tracking [83.40120598637665]
対話状態追跡(DST)のためのゼロショット転送学習は、ドメイン内のデータを収集するコストを伴わずに、様々なタスク指向の対話ドメインを扱うのに役立つ。
既存の研究は主に一般化を強化するために、一般的なデータまたはモデルレベルの拡張方法を研究する。
我々は、見られているデータのセマンティクスを明示的に切り離す、単純で効果的な「分割、征服、結合」ソリューションを提案する。
論文 参考訳(メタデータ) (2023-06-01T08:21:20Z) - On the Equivalence of the Weighted Tsetlin Machine and the Perceptron [12.48513712803069]
Tsetlin Machine (TM) は本質的に解釈可能な機械傾き法として人気を集めている。
良い特性を持っているが、TMはAIアプリケーションのためのゴーツーメソッドではない。
論文 参考訳(メタデータ) (2022-12-27T22:38:59Z) - Neural Machine Translation with Contrastive Translation Memories [71.86990102704311]
Retrieval-augmented Neural Machine Translationモデルは、多くの翻訳シナリオで成功している。
そこで本論文では,新たに検索拡張NMTを提案し,ソース文と相似なコントラスト検索された翻訳記憶をモデル化する。
訓練段階では、目標文に対する各TMの健全な特徴を学習するために、マルチTMコントラスト学習目標を導入する。
論文 参考訳(メタデータ) (2022-12-06T17:10:17Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳(メタデータ) (2022-12-02T11:40:40Z) - Improving Robustness of Retrieval Augmented Translation via Shuffling of
Suggestions [15.845071122977158]
既存の検索拡張翻訳手法では,テストセットにドメインミスマッチを付加したTMを用いることで,TMを全く使用していない場合に比べれば,性能が著しく低下することが示された。
トレーニング中にファジィマッチングNMTシステムを公開するための簡単な手法を提案し、ドメインミスマッチによるTMの推論よりも耐障害性(最大5.8BLEUまで)が高いことを示す。
論文 参考訳(メタデータ) (2022-10-11T00:09:51Z) - Transformer-based Context Condensation for Boosting Feature Pyramids in
Object Detection [77.50110439560152]
現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。
我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。
特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
論文 参考訳(メタデータ) (2022-07-14T01:45:03Z) - FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task
Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。
本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文 参考訳(メタデータ) (2022-03-24T17:43:12Z) - Transductive Maximum Margin Classifier for Few-Shot Learning [17.18278071760926]
ほとんどショットラーニングは、クラス毎に少数のラベル付きサンプルが与えられた場合に、うまく一般化できる分類器を訓練することを目的としている。
本稿では,TMMC (Transductive Maximum Margin) を導入し,それに対応する学習手法を提案する。
TMMCは、ラベル付きサポートセットとラベルなしクエリセットを混合したタスクで構築される。
論文 参考訳(メタデータ) (2021-07-26T06:02:32Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳(メタデータ) (2020-08-12T15:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。