論文の概要: Memory makes computation universal, remember?

• arxiv url: http://arxiv.org/abs/2412.17794v1
• Date: Mon, 23 Dec 2024 18:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:00.787873
• Title: Memory makes computation universal, remember?
• Title（参考訳）: メモリは計算を普遍的にします。
• Authors: Erik Garrison,
• Abstract要約: メモリは2つの基本的な能力を通じて普遍的な計算を可能にする。 ニューラルネットワークのような並列システムは,基本単位に制限があるにもかかわらず,普遍的な計算を実現する方法を示す。 我々の分析は、生物学的システム、人工知能、人間の認知における計算の理解を統一する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent breakthroughs in AI capability have been attributed to increasingly sophisticated architectures and alignment techniques, but a simpler principle may explain these advances: memory makes computation universal. Memory enables universal computation through two fundamental capabilities: recursive state maintenance and reliable history access. We formally prove these requirements are both necessary and sufficient for universal computation. This principle manifests across scales, from cellular computation to neural networks to language models. Complex behavior emerges not from sophisticated processing units but from maintaining and accessing state across time. We demonstrate how parallel systems like neural networks achieve universal computation despite limitations in their basic units by maintaining state across iterations. This theoretical framework reveals a universal pattern: computational advances consistently emerge from enhanced abilities to maintain and access state rather than from more complex basic operations. Our analysis unifies understanding of computation across biological systems, artificial intelligence, and human cognition, reminding us that humanity's own computational capabilities have evolved in step with our technical ability to remember through oral traditions, writing, and now computing.
• Abstract（参考訳）: AI能力の最近のブレークスルーは、ますます高度なアーキテクチャとアライメント技術によるものだが、より単純な原則がこれらの進歩を説明するかもしれない。 メモリは再帰的状態維持と信頼性のある履歴アクセスという2つの基本的な機能を通じて普遍的な計算を可能にする。 我々はこれらの要件が普遍計算に必要かつ十分なものであることを正式に証明する。 この原理は、セルラー計算からニューラルネットワーク、言語モデルに至るまで、スケールにわたって現れます。 複雑な振る舞いは高度な処理ユニットからではなく、時間の経過とともに状態の維持とアクセスから生じます。 ニューラルネットワークのような並列システムは,イテレーション間の状態を維持することによって,基本単位に制限があるにもかかわらず,普遍的な計算を実現する方法を示す。 この理論的な枠組みは普遍的なパターンを明らかにしている: 計算の進歩は、より複雑な基本的な操作からではなく、状態の維持とアクセスの能力の向上から一貫して現れる。 我々の分析は、生物学的システム、人工知能、そして人間の認知における計算の理解を統一し、人類自身の計算能力が、口頭での伝統、書き方、そして現在コンピューティングを記憶する技術的能力と段階的に進化したことを思い出させる。

関連論文リスト

• Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
  予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。 PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T16:37:16Z)
• A Neural Lambda Calculus: Neurosymbolic AI meets the foundations of computing and functional programming [0.0]
  我々は、プログラム全体の実行方法を学ぶニューラルネットワークの能力を分析する。 統合型ニューラルラーニングと電卓形式化の導入について紹介する。
  論文  参考訳（メタデータ） (2023-04-18T20:30:16Z)
• Encoding Integers and Rationals on Neuromorphic Computers using Virtual Neuron [0.0]
  仮想ニューロンを整数と有理数の符号化機構として提示する。 本研究では,23nJのエネルギーを混合信号メムリスタベースニューロモルフィックプロセッサを用いて平均的に加算操作を行うことができることを示す。
  論文  参考訳（メタデータ） (2022-08-15T23:18:26Z)
• Neurocompositional computing: From the Central Paradox of Cognition to a new generation of AI systems [120.297940190903]
  AIの最近の進歩は、限られた形態のニューロコンフォメーションコンピューティングの使用によってもたらされている。 ニューロコンポジションコンピューティングの新しい形式は、より堅牢で正確で理解しやすいAIシステムを生み出します。
  論文  参考訳（メタデータ） (2022-05-02T18:00:10Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)
• Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
  過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。 このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-04-27T21:09:51Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Memristors -- from In-memory computing, Deep Learning Acceleration, Spiking Neural Networks, to the Future of Neuromorphic and Bio-inspired Computing [25.16076541420544]
  機械学習は、特にディープラーニングの形で、人工知能の最近の基本的な発展のほとんどを駆動している。 ディープラーニングは、オブジェクト/パターン認識、音声と自然言語処理、自動運転車、インテリジェントな自己診断ツール、自律ロボット、知識に富んだパーソナルアシスタント、監視といった分野に成功している。 本稿では、電力効率の高いインメモリコンピューティング、ディープラーニングアクセラレーター、スパイクニューラルネットワークの実装のための潜在的なソリューションとして、CMOSハードウェア技術、memristorsを超越した小説をレビューする。
  論文  参考訳（メタデータ） (2020-04-30T16:49:03Z)
• Reservoir memory machines [79.79659145328856]
  本稿では,ニューラルチューリングマシンのベンチマークテストのいくつかを解くことができる貯水池メモリマシンを提案する。 我々のモデルは、外部メモリによるエコー状態ネットワークの拡張と見なすことができ、干渉することなく任意の長さの記憶が可能となる。
  論文  参考訳（メタデータ） (2020-02-12T01:45:00Z)
• On the computational power and complexity of Spiking Neural Networks [0.0]
  本研究では, スパイクニューラルネットワークを機械モデルとして導入し, 親しみやすいチューリングマシンとは対照的に, 情報と操作を機械内に共同配置する。 正規問題を導入し、複雑性クラスの階層を定義し、いくつかの最初の完全性結果を提供する。
  論文  参考訳（メタデータ） (2020-01-23T10:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。