論文の概要: Continuous Thought Machines

• arxiv url: http://arxiv.org/abs/2505.05522v3
• Date: Wed, 28 May 2025 00:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.080061
• Title: Continuous Thought Machines
• Title（参考訳）: 継続的思考機械
• Authors: Luke Darlow, Ciaran Regan, Sebastian Risi, Jeffrey Seely, Llion Jones,
• Abstract要約: 本稿では、ニューラルネットワークをコア表現として活用するモデルであるContinuous Thought Machine(CTM)を紹介する。 CTMには、(1)ニューロンレベルの時間的処理、(2)ニューロンが独自の重みパラメータを使用して受信信号の履歴を処理する、(2)遅延表現として使用される神経同期という2つの中心的革新がある。 我々は,ImageNet-1K分類,2D迷路の解決,ソート,パリティ,質問応答,RLタスクなど,さまざまな課題にまたがるCTMの性能と汎用性を実証した。
• 参考スコア（独自算出の注目度）: 9.222873822861954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological brains demonstrate complex neural activity, where the timing and interplay between neurons is critical to how brains process information. Most deep learning architectures simplify neural activity by abstracting away temporal dynamics. In this paper we challenge that paradigm. By incorporating neuron-level processing and synchronization, we can effectively reintroduce neural timing as a foundational element. We present the Continuous Thought Machine (CTM), a model designed to leverage neural dynamics as its core representation. The CTM has two core innovations: (1) neuron-level temporal processing, where each neuron uses unique weight parameters to process a history of incoming signals; and (2) neural synchronization employed as a latent representation. The CTM aims to strike a balance between oversimplified neuron abstractions that improve computational efficiency, and biological realism. It operates at a level of abstraction that effectively captures essential temporal dynamics while remaining computationally tractable for deep learning. We demonstrate the CTM's strong performance and versatility across a range of challenging tasks, including ImageNet-1K classification, solving 2D mazes, sorting, parity computation, question-answering, and RL tasks. Beyond displaying rich internal representations and offering a natural avenue for interpretation owing to its internal process, the CTM is able to perform tasks that require complex sequential reasoning. The CTM can also leverage adaptive compute, where it can stop earlier for simpler tasks, or keep computing when faced with more challenging instances. The goal of this work is to share the CTM and its associated innovations, rather than pushing for new state-of-the-art results. To that end, we believe the CTM represents a significant step toward developing more biologically plausible and powerful artificial intelligence systems.
• Abstract（参考訳）: 生物学的脳は複雑な神経活動を示し、ニューロン間のタイミングと相互作用は脳が情報を処理する方法に不可欠である。 ほとんどのディープラーニングアーキテクチャは、時間的ダイナミクスを抽象化することで、神経活動を簡単にする。 本稿では,そのパラダイムに挑戦する。 ニューロンレベルの処理と同期を取り入れることで、神経のタイミングを基礎要素として効果的に再導入することができる。 本稿では、ニューラルネットワークをコア表現として活用するモデルであるContinuous Thought Machine(CTM)を紹介する。 CTMには、(1)ニューロンレベルの時間的処理、(2)ニューロンが独自の重みパラメータを使用して受信信号の履歴を処理する、(2)遅延表現として使用される神経同期という2つの中心的な革新がある。 CTMは、計算効率を向上する単純化されたニューロン抽象化と生物学的リアリズムのバランスをとることを目的としている。 本質的な時間的ダイナミクスを効果的に捉えながら、深層学習のために計算的に抽出可能な抽象レベルで機能する。 我々は,ImageNet-1K分類,2次元迷路の解決,ソート,パリティ計算,質問応答,RLタスクなど,CTMの強靭な性能と汎用性を示す。 豊かな内部表現を表示し、内部プロセスによる解釈の自然な道を提供するだけでなく、CTMは複雑なシーケンシャルな推論を必要とするタスクを実行することができる。 CTMはまた、適応型計算を活用して、より単純なタスクで早く停止したり、より困難なインスタンスに直面した場合にコンピューティングを維持することもできる。 この作業の目標は、CTMとその関連するイノベーションを共有することだ。 そのために私たちは、CTMがより生物学的に妥当で強力な人工知能システムを開発するための重要な一歩だと信じています。

関連論文リスト

• Application of an attention-based CNN-BiLSTM framework for in vivo two-photon calcium imaging of neuronal ensembles: decoding complex bilateral forelimb movements from unilateral M1 [0.511850618931844]
  マルチスケール脳ネットワークからの運動などの復号化は、神経科学の中心的な目的である。 本研究では,注目度に基づくCNN-BiLSTMモデルであるハイブリッドディープラーニングフレームワークを用いて,熟練した複雑な前肢の動きをデコードする。 両前肢の複雑な運動は片側M1ニューロンのアンサンブルから正確に復号できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-23T17:43:00Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics Organized by Astrocyte-modulated Plasticity [0.0]
  液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。 近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。 本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
  論文  参考訳（メタデータ） (2021-10-26T23:04:40Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
  より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。 本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
  論文  参考訳（メタデータ） (2021-05-15T19:49:32Z)
• Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
  複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。 我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
  論文  参考訳（メタデータ） (2021-04-21T18:23:31Z)
• A Spiking Neural Network Emulating the Structure of the Oculomotor System Requires No Learning to Control a Biomimetic Robotic Head [0.0]
  バイオミメティック・ロボットヘッドのプロトタイプの心臓にニューロモルフィック・オキュロモータ・コントローラが配置されている。 コントローラは、すべてのデータがスパイクニューラルネットワーク(SNN)によって符号化され、処理されるという意味でユニークなものです。 ロボットの目標追跡能力について報告し、その眼球運動学は人間の眼研究で報告されたものと類似していることを示し、生物学的に制約された学習を用いて、その性能をさらに向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-18T13:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。