論文の概要: Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling

• arxiv url: http://arxiv.org/abs/2009.04861v4
• Date: Wed, 9 Jun 2021 15:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 02:54:08.316781
• Title: Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling
• Title（参考訳）: ほぼ一定時間スケーリングをサポートする超並列非同期tsetlinマシンアーキテクチャ
• Authors: K. Darshana Abeyrathna, Bimal Bhattarai, Morten Goodwin, Saeed Gorji, Ole-Christoffer Granmo, Lei Jiao, Rupsa Saha, Rohan K. Yadav
• Abstract要約: Tsetlin Machines (TMs) は、最近、精度、メモリフットプリント、エネルギー、学習速度の点で競合性能を得た。 各TM節は特定のクラスに対して、または反対に投票し、多数決によって分類は解決された。 本稿では,節の評価を非同期化し,投票ボトルネックを解消する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 11.57427340680871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using logical clauses to represent patterns, Tsetlin Machines (TMs) have recently obtained competitive performance in terms of accuracy, memory footprint, energy, and learning speed on several benchmarks. Each TM clause votes for or against a particular class, with classification resolved using a majority vote. While the evaluation of clauses is fast, being based on binary operators, the voting makes it necessary to synchronize the clause evaluation, impeding parallelization. In this paper, we propose a novel scheme for desynchronizing the evaluation of clauses, eliminating the voting bottleneck. In brief, every clause runs in its own thread for massive native parallelism. For each training example, we keep track of the class votes obtained from the clauses in local voting tallies. The local voting tallies allow us to detach the processing of each clause from the rest of the clauses, supporting decentralized learning. This means that the TM most of the time will operate on outdated voting tallies. We evaluated the proposed parallelization across diverse learning tasks and it turns out that our decentralized TM learning algorithm copes well with working on outdated data, resulting in no significant loss in learning accuracy. Furthermore, we show that the proposed approach provides up to 50 times faster learning. Finally, learning time is almost constant for reasonable clause amounts (employing from 20 to 7,000 clauses on a Tesla V100 GPU). For sufficiently large clause numbers, computation time increases approximately proportionally. Our parallel and asynchronous architecture thus allows processing of massive datasets and operating with more clauses for higher accuracy.
• Abstract（参考訳）: パターンを表す論理的節を用いて、Tsetlin Machines (TMs)は、最近、いくつかのベンチマークで精度、メモリフットプリント、エネルギ、学習速度の点で競合性能を得た。 各tm節は特定のクラスに対して投票を行い、多数決で分類が解決される。 節の評価は二項演算子に基づいて高速であるが、投票は節の評価を同期させ、並列化を妨げる必要がある。 本稿では,節の評価を非同期化し,投票ボトルネックを解消する手法を提案する。 簡単に言うと、すべての節は独自のスレッドで動作し、巨大なネイティブ並列処理を行う。 それぞれのトレーニング例では,局所投票の集計項目から得られたクラス投票の追跡を行う。 地元の投票集計は、各節の処理を他の節から切り離すことを可能にし、分散学習をサポートします。 つまり、TMはほとんどの場合、時代遅れの投票台で運用されるということだ。 提案した並列化を多様な学習タスク間で評価した結果,分散TM学習アルゴリズムは時代遅れのデータ処理にうまく対応し,学習精度が著しく低下することが判明した。 さらに,提案手法は学習を最大50倍高速化することを示した。 最後に、学習時間は妥当な条項量(Tesla V100 GPUの20から7000節)に対してほぼ一定である。 十分大きな節数の場合、計算時間はおよそ比例的に増加する。 これにより、並列で非同期なアーキテクチャにより、大量のデータセットを処理し、高い精度でより多くの節で操作することができます。

関連論文リスト

• Data Classification With Multiprocessing [6.513930657238705]
  Pythonのマルチプロセッシングは、異なる分類アルゴリズムでこの仮説をテストするために使われる。 我々は、アンサンブルは精度を向上し、マルチプロセッシングは選択したアルゴリズムの実行時間を短縮する、と結論付けた。
  論文  参考訳（メタデータ） (2023-12-23T03:42:13Z)
• Bilingual Corpus Mining and Multistage Fine-Tuning for Improving Machine Translation of Lecture Transcripts [50.00305136008848]
  本研究では,並列コーパスマイニングのためのフレームワークを提案し,Coursera の公開講義から並列コーパスを迅速かつ効果的にマイニングする方法を提案する。 日英両国の講義翻訳において,約5万行の並列コーパスを抽出し,開発・テストセットを作成した。 また,コーパスの収集とクリーニング,並列文のマイニング,マイニングデータのクリーニング,高品質な評価スプリットの作成に関するガイドラインも提案した。
  論文  参考訳（メタデータ） (2023-11-07T03:50:25Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)
• Parallel Algorithms Align with Neural Execution [7.535219325248997]
  しかし並列アルゴリズムは計算能力を最大限に活用できるため、実行すべきレイヤは少ない。 このことは、CLRSフレームワーク上のシーケンシャルなコンポーネントに対して、検索、ソート、および強力な接続されたコンポーネントの並列実装を比較する際に観察されるように、トレーニング時間を劇的に短縮します。
  論文  参考訳（メタデータ） (2023-07-08T21:28:20Z)
• Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks [108.4568236569645]
  CoT(Chain-of-thinkts prompting)は、これらのタスクに対する最先端の手法である。 本稿では、言語モデルを用いて推論過程をプログラムとして表現する「思考プログラム(PoT)」を提案する。 PoTは、評価されたすべてのデータセットに対して、CoTに対する平均的なパフォーマンス向上を約12%示すことができる。
  論文  参考訳（メタデータ） (2022-11-22T21:06:00Z)
• Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
  我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。 カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。 我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
  論文  参考訳（メタデータ） (2022-10-27T14:48:49Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)
• Coalesced Multi-Output Tsetlin Machines with Clause Sharing [7.754230120409288]
  有限状態機械を用いてパターンを学習し、いくつかのベンチマークで競合精度と学習速度を得た。 句共有を導入し、複数のTMを1つにマージします。 MNIST, Fashion-MNIST, Kuzushiji-MNIST による実験結果から, CoTM は50ドルから1ドルで TM よりも有意に精度が高いことがわかった。
  論文  参考訳（メタデータ） (2021-08-17T12:52:01Z)
• GPU-Accelerated Optimizer-Aware Evaluation of Submodular Exemplar Clustering [5.897728689802829]
  サブモジュール関数の最適化は、クラスタリングを実行する実行可能な方法を構成する。 強近似保証と実現可能な最適化 w.r.t. ストリーミングデータはこのクラスタリングアプローチが好都合です exemplarベースのクラスタリングは、可能なサブモジュラー関数の1つであるが、高い計算複雑性に苦しむ。 半精度のGPU計算は、シングル精度のシングルスレッドCPU計算と比較して452倍の高速化を実現した。
  論文  参考訳（メタデータ） (2021-01-21T18:23:44Z)
• Increasing the Inference and Learning Speed of Tsetlin Machines with Clause Indexing [9.440900386313215]
  Tsetlin Machine (TM) は、古典的なTsetlin Automaton (TA) とゲーム理論に基づいて開発された機械学習アルゴリズムである。 我々は,MNISTとFashion-MNISTの画像分類とIMDbの感情分析を最大15倍,学習速度が3倍に向上したことを報告した。
  論文  参考訳（メタデータ） (2020-04-07T08:16:07Z)
• Non-Autoregressive Machine Translation with Disentangled Context Transformer [70.95181466892795]
  最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。 本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。 本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
  論文  参考訳（メタデータ） (2020-01-15T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。