論文の概要: Cellular Automata Can Reduce Memory Requirements of Collective-State Computing

• arxiv url: http://arxiv.org/abs/2010.03585v1
• Date: Wed, 7 Oct 2020 18:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 22:01:26.444936
• Title: Cellular Automata Can Reduce Memory Requirements of Collective-State Computing
• Title（参考訳）: セルオートマトンは集団状態コンピューティングのメモリ要件を削減する
• Authors: Denis Kleyko, E. Paxon Frady, Friedrich T. Sommer
• Abstract要約: 本稿では,ルール90(CA90)を用いた基本セルオートマトンにより,集合状態計算モデルの時空間トレードオフが可能となることを示す。 本稿では,CA90が短いシードパターンから高速に表現を拡大する集合状態計算モデルを最適化する方法について論じる。
• 参考スコア（独自算出の注目度）: 4.150085009901543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Various non-classical approaches of distributed information processing, such as neural networks, computation with Ising models, reservoir computing, vector symbolic architectures, and others, employ the principle of collective-state computing. In this type of computing, the variables relevant in a computation are superimposed into a single high-dimensional state vector, the collective-state. The variable encoding uses a fixed set of random patterns, which has to be stored and kept available during the computation. Here we show that an elementary cellular automaton with rule 90 (CA90) enables space-time tradeoff for collective-state computing models that use random dense binary representations, i.e., memory requirements can be traded off with computation running CA90. We investigate the randomization behavior of CA90, in particular, the relation between the length of the randomization period and the size of the grid, and how CA90 preserves similarity in the presence of the initialization noise. Based on these analyses we discuss how to optimize a collective-state computing model, in which CA90 expands representations on the fly from short seed patterns - rather than storing the full set of random patterns. The CA90 expansion is applied and tested in concrete scenarios using reservoir computing and vector symbolic architectures. Our experimental results show that collective-state computing with CA90 expansion performs similarly compared to traditional collective-state models, in which random patterns are generated initially by a pseudo-random number generator and then stored in a large memory.
• Abstract（参考訳）: ニューラルネットワーク、イジングモデルによる計算、貯水池計算、ベクトル記号アーキテクチャなど、分散情報処理の古典的でない様々なアプローチは、集合状態コンピューティングの原理を採用している。 この種の計算では、計算に関連する変数は単一の高次元状態ベクトル、集合状態へと重畳される。 変数エンコーディングでは、ランダムパターンの固定セットを使用し、計算中に保存および保持する必要がある。 ここでは、ルール90(CA90)を用いた基本セルオートマトンにより、ランダムな密度のバイナリ表現を使用する集合状態コンピューティングモデルに対する時空間のトレードオフ、すなわち、CA90を実行する計算でメモリ要求を交換可能であることを示す。 本稿では,CA90のランダム化挙動,特に,ランダム化期間の長さとグリッドサイズとの関係,および初期化雑音の存在下でCA90が類似性を維持する方法について検討する。 これらの分析に基づいて、CA90は、ランダムなパターンの完全なセットを格納するのではなく、短いシードパターンからハエの表現を拡張する集合状態コンピューティングモデルを最適化する方法について議論する。 CA90の拡張は、貯水池計算とベクトル記号アーキテクチャを用いて、具体的なシナリオで適用およびテストされる。 実験の結果,ca90拡張を用いた集団状態計算は,疑似乱数生成器によってランダムパターンが生成され,大メモリに格納される従来の集団状態モデルと同等の性能を示すことがわかった。

関連論文リスト

• Memory-Augmented Hybrid Quantum Reservoir Computing [0.0]
  本稿では、量子計測の古典的後処理を通じてメモリを実装するハイブリッド量子古典的アプローチを提案する。 我々は、完全に連結されたIsingモデルとRydberg原子配列の2つの物理プラットフォーム上でモデルをテストした。
  論文  参考訳（メタデータ） (2024-09-15T22:44:09Z)
• Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
  本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。 本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。 大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-01T18:02:04Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Quick Adaptive Ternary Segmentation: An Efficient Decoding Procedure For Hidden Markov Models [70.26374282390401]
  ノイズの多い観測から元の信号(すなわち隠れ鎖)を復号することは、ほぼすべてのHMMに基づくデータ分析の主要な目標の1つである。 本稿では,多対数計算複雑性において隠れた列を復号化するための分法であるQuick Adaptive Ternary(QATS)を提案する。
  論文  参考訳（メタデータ） (2023-05-29T19:37:48Z)
• Flag Aggregator: Scalable Distributed Training under Failures and Augmented Losses using Convex Optimization [14.732408788010313]
  MLアプリケーションはますます、複雑なディープラーニングモデルと大規模なデータセットに依存している。 計算とデータをスケールするために、これらのモデルはノードのクラスタ内で分散的にトレーニングされ、それらの更新はモデルに適用される前に集約される。 これらの設定にデータ拡張を加えることで、堅牢で効率的なアグリゲーションシステムが必要である。 この手法は,最先端のビザンツ系レジリエントアグリゲータのロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-02-12T06:38:30Z)
• Using Intermediate Forward Iterates for Intermediate Generator Optimization [14.987013151525368]
  中間ジェネレータ最適化は、生成タスクのための任意の標準オートエンコーダパイプラインに組み込むことができる。 IGOの2つの密集予測タスク(viz.)、画像外挿、点雲デノイング(denoising)に対する応用を示す。
  論文  参考訳（メタデータ） (2023-02-05T08:46:15Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Adaptive Semiparametric Language Models [17.53604394786977]
  本稿では,大規模パラメトリックニューラルネットワーク(トランスフォーマー)と非パラメトリックエピソードメモリコンポーネントを組み合わせた言語モデルを提案する。 単語ベースおよび文字ベース言語モデリングデータセットの実験により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-02-04T11:47:03Z)
• An Embedded Model Estimator for Non-Stationary Random Functions using Multiple Secondary Variables [0.0]
  本稿では,本手法を導入し,地理的モデリングや量子ランダムフォレストに適用した結果と自然に類似した一貫性を有することを示す。 このアルゴリズムは、各ターゲット位置におけるターゲット変数の条件分布を推定することで機能する。
  論文  参考訳（メタデータ） (2020-11-09T00:14:24Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。