Fugu-MT 論文翻訳(概要): Continuous Thought Machines

論文の概要: Continuous Thought Machines

arxiv url: http://arxiv.org/abs/2505.05522v4
Date: Fri, 03 Oct 2025 02:13:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-06 16:35:51.923362
Title: Continuous Thought Machines
Title（参考訳）: 継続的思考機械
Authors: Luke Darlow, Ciaran Regan, Sebastian Risi, Jeffrey Seely, Llion Jones,
Abstract要約: 本稿では、ニューラルネットワークをコア表現として活用するモデルであるContinuous Thought Machine(CTM)を紹介する。 CTMには、(1)ニューロンレベルの時間的処理、(2)ニューロンが入ってくる履歴を処理するために独自の重みパラメータを使用する、(2)潜時表現としての神経同期という2つの革新がある。我々は,2次元迷路の解決,ImageNet-1K分類,パリティ計算など,CTMの性能と汎用性を示す。
参考スコア（独自算出の注目度）: 6.225422492899255
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Biological brains demonstrate complex neural activity, where neural dynamics are critical to how brains process information. Most artificial neural networks ignore the complexity of individual neurons. We challenge that paradigm. By incorporating neuron-level processing and synchronization, we reintroduce neural timing as a foundational element. We present the Continuous Thought Machine (CTM), a model designed to leverage neural dynamics as its core representation. The CTM has two innovations: (1) neuron-level temporal processing, where each neuron uses unique weight parameters to process incoming histories; and (2) neural synchronization as a latent representation. The CTM aims to strike a balance between neuron abstractions and biological realism. It operates at a level of abstraction that effectively captures essential temporal dynamics while remaining computationally tractable. We demonstrate the CTM's performance and versatility across a range of tasks, including solving 2D mazes, ImageNet-1K classification, parity computation, and more. Beyond displaying rich internal representations and offering a natural avenue for interpretation owing to its internal process, the CTM is able to perform tasks that require complex sequential reasoning. The CTM can also leverage adaptive compute, where it can stop earlier for simpler tasks, or keep computing when faced with more challenging instances. The goal of this work is to share the CTM and its associated innovations, rather than pushing for new state-of-the-art results. To that end, we believe the CTM represents a significant step toward developing more biologically plausible and powerful artificial intelligence systems. We provide an accompanying interactive online demonstration at https://pub.sakana.ai/ctm/ and an extended technical report at https://pub.sakana.ai/ctm/paper .
Abstract（参考訳）: 生物学的脳は複雑な神経活動を示し、脳が情報を処理する方法に神経力学が不可欠である。ほとんどの人工ニューラルネットワークは個々のニューロンの複雑さを無視している。私たちはそのパラダイムに挑戦する。ニューロンレベルの処理と同期を取り入れることで、神経のタイミングを基本要素として再導入する。本稿では、ニューラルネットワークをコア表現として活用するモデルであるContinuous Thought Machine(CTM)を紹介する。 CTMには、(1)ニューロンレベルの時間的処理、(2)ニューロンが入ってくる履歴を処理するために独自の重みパラメータを使用する、(2)潜時表現としての神経同期という2つの革新がある。 CTMは、ニューロンの抽象化と生物学的リアリズムのバランスをとることを目的としている。本質的な時間的ダイナミクスを効果的に捉えながら、計算可能でありながら、抽象レベルで機能する。我々は,2次元迷路の解決,ImageNet-1K分類,パリティ計算など,CTMの性能と汎用性を示す。豊かな内部表現を表示し、内部プロセスによる解釈の自然な道を提供するだけでなく、CTMは複雑なシーケンシャルな推論を必要とするタスクを実行することができる。 CTMはまた、適応型計算を活用して、より単純なタスクで早く停止したり、より困難なインスタンスに直面した場合にコンピューティングを維持することもできる。この作業の目標は、CTMとその関連するイノベーションを共有することだ。そのために私たちは、CTMがより生物学的に妥当で強力な人工知能システムを開発するための重要な一歩だと信じています。我々は、https://pub.sakana.ai/ctm/でインタラクティブなオンラインデモンストレーションを行い、https://pub.sakana.ai/ctm/paper.comで拡張技術レポートを提供します。

関連論文リスト

Application of an attention-based CNN-BiLSTM framework for in vivo two-photon calcium imaging of neuronal ensembles: decoding complex bilateral forelimb movements from unilateral M1 [0.511850618931844]
マルチスケール脳ネットワークからの運動などの復号化は、神経科学の中心的な目的である。本研究では,注目度に基づくCNN-BiLSTMモデルであるハイブリッドディープラーニングフレームワークを用いて,熟練した複雑な前肢の動きをデコードする。両前肢の複雑な運動は片側M1ニューロンのアンサンブルから正確に復号できることが示唆された。
論文参考訳（メタデータ） (2025-04-23T17:43:00Z)
Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
論文参考訳（メタデータ） (2024-10-17T17:47:54Z)
Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文参考訳（メタデータ） (2024-02-26T15:01:54Z)
The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文参考訳（メタデータ） (2023-06-14T13:34:13Z)
Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文参考訳（メタデータ） (2023-03-30T02:40:28Z)
Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics Organized by Astrocyte-modulated Plasticity [0.0]
液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
論文参考訳（メタデータ） (2021-10-26T23:04:40Z)
Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
論文参考訳（メタデータ） (2021-09-22T16:52:51Z)
A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
論文参考訳（メタデータ） (2021-05-15T19:49:32Z)
Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文参考訳（メタデータ） (2021-04-21T18:23:31Z)
A Spiking Neural Network Emulating the Structure of the Oculomotor System Requires No Learning to Control a Biomimetic Robotic Head [0.0]
バイオミメティック・ロボットヘッドのプロトタイプの心臓にニューロモルフィック・オキュロモータ・コントローラが配置されている。コントローラは、すべてのデータがスパイクニューラルネットワーク(SNN)によって符号化され、処理されるという意味でユニークなものです。ロボットの目標追跡能力について報告し、その眼球運動学は人間の眼研究で報告されたものと類似していることを示し、生物学的に制約された学習を用いて、その性能をさらに向上させることができることを示す。
論文参考訳（メタデータ） (2020-02-18T13:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。