論文の概要: A Novel Multi-Step Finite-State Automaton for Arbitrarily Deterministic
Tsetlin Machine Learning
- arxiv url: http://arxiv.org/abs/2007.02114v1
- Date: Sat, 4 Jul 2020 14:56:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 13:11:32.238419
- Title: A Novel Multi-Step Finite-State Automaton for Arbitrarily Deterministic
Tsetlin Machine Learning
- Title（参考訳）: 任意決定論的Tsetlin機械学習のための多段階有限状態オートマトン
- Authors: K. Darshana Abeyrathna, Ole-Christoffer Granmo, Rishad Shafik, Alex
Yakovlev, Adrian Wheeldon, Jie Lei, Morten Goodwin
- Abstract要約: 本稿では,TM学習におけるTsetlin Automataに代わる新しい有限状態学習オートマトンを提案する。
新しいオートマトンは、多段階決定論的状態ジャンプを使用してサブパターンを強化する。
エネルギー面では、乱数生成はTMのスイッチングエネルギー消費を構成し、より大きなデータセットに対して最大11mWの電力を節約する。
- 参考スコア（独自算出の注目度）: 22.79584068754182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the high energy consumption and scalability challenges of deep
learning, there is a critical need to shift research focus towards dealing with
energy consumption constraints. Tsetlin Machines (TMs) are a recent approach to
machine learning that has demonstrated significantly reduced energy usage
compared to neural networks alike, while performing competitively accuracy-wise
on several benchmarks. However, TMs rely heavily on energy-costly random number
generation to stochastically guide a team of Tsetlin Automata to a Nash
Equilibrium of the TM game. In this paper, we propose a novel finite-state
learning automaton that can replace the Tsetlin Automata in TM learning, for
increased determinism. The new automaton uses multi-step deterministic state
jumps to reinforce sub-patterns. Simultaneously, flipping a coin to skip every
$d$'th state update ensures diversification by randomization. The $d$-parameter
thus allows the degree of randomization to be finely controlled. E.g., $d=1$
makes every update random and $d=\infty$ makes the automaton completely
deterministic. Our empirical results show that, overall, only substantial
degrees of determinism reduces accuracy. Energy-wise, random number generation
constitutes switching energy consumption of the TM, saving up to 11 mW power
for larger datasets with high $d$ values. We can thus use the new $d$-parameter
to trade off accuracy against energy consumption, to facilitate low-energy
machine learning.
- Abstract（参考訳）: ディープラーニングにおける高エネルギー消費とスケーラビリティの課題のため、エネルギー消費の制約への対処に研究の焦点を移す必要がある。
tsetlin machine (tms) は機械学習に対する最近のアプローチであり、いくつかのベンチマークで競合的に精度を競いながら、ニューラルネットワークに比べてエネルギー使用量を大幅に削減している。
しかし、TMはTsetlin Automata のチームをTMゲームの Nash Equilibrium に導くために、エネルギーコストのかかる乱数生成に大きく依存している。
本稿では,tm学習におけるtsetlinオートマトンを置き換え,決定性を高めるための有限状態学習オートマトンを提案する。
新しいautomattonは、サブパターンを強化するために、マルチステップ決定論的状態ジャンプを使用する。
同時に、$d$'th状態更新をスキップするためにコインをめくることで、ランダム化による多様化が保証される。
これにより$d$-parameterは、ランダム化の度合いを細かく制御できる。
例えば、$d=1$はすべての更新をランダムにし、$d=\infty$はオートマトンを完全に決定的にする。
我々の経験的結果は、全体として、決定論の実質的な程度だけが精度を低下させることを示している。
エネルギー面では、乱数生成はTMのスイッチングエネルギー消費を構成し、高いd$の値を持つ大きなデータセットに対して最大11mWの電力を節約する。
したがって、新しい$d$パラメータを使用して、エネルギー消費に対する精度をトレードオフし、低エネルギー機械学習を促進することができる。
関連論文リスト
- Learning the Sherrington-Kirkpatrick Model Even at Low Temperature [7.2963746224601085]
非指向型グラフィカルモデルやマルコフランダム場(MRF)のパラメータを学習する根本的な問題を考える。
Isingモデルの場合、Klivans と Meka による乗法的加重更新は、任意の温度 $beta leq sqrtlog n$ に間に合うようにパラメータを学習する。
これにより、She-Kirkpatrick(SK)モデルを学ぶアルゴリズムが、高温の1ドルを超えるとすぐに得られる。
論文 参考訳（メタデータ） (2024-11-17T21:02:12Z) - Exploring the Temperature-Dependent Phase Transition in Modern Hopfield
Networks [10.44966984792986]
トランスフォーマーとモダンホップフィールドネットワークの接続が最近発見されたことで、物理的エネルギーベースの観点からニューラルネットワークの研究が再燃した。
本稿では,MHN のエネルギー最小値分布に対する逆温度ハイパーパラメータ $beta$ のピボット効果に着目した。
論文 参考訳（メタデータ） (2023-11-30T10:34:29Z) - Pre-train and Search: Efficient Embedding Table Sharding with
Pre-trained Neural Cost Models [56.65200574282804]
効率的なシャーディングのための「事前訓練・探索」パラダイムを提案する。
NeuroShardは、さまざまなシャーディングシナリオをカバーするために、拡張テーブル上のニューラルコストモデルをトレーニングする。
NeuroShardは、ベンチマークシャーディングデータセットの最先端を著しく、一貫して上回る。
論文 参考訳（メタデータ） (2023-05-03T02:52:03Z) - Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。
コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
論文 参考訳（メタデータ） (2022-11-09T12:34:59Z) - Transformers Learn Shortcuts to Automata [52.015990420075944]
低深度変換器は任意の有限状態オートマトンを計算できる。
我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。
さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
論文 参考訳（メタデータ） (2022-10-19T17:45:48Z) - Alternating Good-for-MDP Automata [4.429642479975602]
良質MDP(GFM)B"uchiautoaを用いて、悪質MDP(GFM)オートマトンを修復できることを示す。
非決定論的ラビンやB'uchiオートマトンへの翻訳は、ターゲットオートマトンをMDPの良さを必要とせずとも、指数的なコストがかかる。
意外な答えは、MDPプロパティを交代オートマトンに拡張する際には、はるかに少なめに支払わなければならないということです。
論文 参考訳（メタデータ） (2022-05-06T14:01:47Z) - Attention Mechanism with Energy-Friendly Operations [61.58748425876866]
我々はエネルギー消費の観点から注意機構を再考する。
我々は、乗算を選択的操作または加算に置き換えることで、新しい注意モデルを構築する。
3つの機械翻訳タスクにおける実験結果から,提案手法が再現可能な精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-28T08:50:09Z) - High precision control and deep learning-based corn stand counting
algorithms for agricultural robot [8.16286714346538]
本論文では、低コストで超小型な3Dプリントおよび自律フィールドロボットのための高精度制御と深層学習に基づくトウモロコシスタンドカウントアルゴリズムを提案する。
TerraSentiaという名前のこのロボットは、植物の形質を自動測定して表現を効率よくする。
論文 参考訳（メタデータ） (2021-03-21T01:13:38Z) - Induction and Exploitation of Subgoal Automata for Reinforcement
Learning [75.55324974788475]
本稿では,Regressed Learning (RL)タスクにおけるサブゴールの学習と活用のためのISAを提案する。
ISAは、タスクのサブゴールによってエッジがラベル付けされたオートマトンであるサブゴールオートマトンを誘導することで強化学習をインターリーブする。
サブゴールオートマトンはまた、タスクの完了を示す状態と、タスクが成功せずに完了したことを示す状態の2つの特別な状態で構成されている。
論文 参考訳（メタデータ） (2020-09-08T16:42:55Z) - Extending the Tsetlin Machine With Integer-Weighted Clauses for
Increased Interpretability [9.432068833600884]
解釈可能かつ正確であるマシンモデルを構築することは、多くのパターン認識問題に対して未解決の課題である。
Tsetlin Machines (TM)は、命題論理における共役節の線形結合を用いて、様々なベンチマーク上での競合性能を示した。
本稿では,TM節に整数重みを持たせることで,精度・解釈可能性の問題に対処する。
論文 参考訳（メタデータ） (2020-05-11T14:18:09Z) - Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable
Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。
定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。
実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文 参考訳（メタデータ） (2020-02-20T04:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。