論文の概要: Continuous Thought Machines

• arxiv url: http://arxiv.org/abs/2505.05522v4
• Date: Fri, 03 Oct 2025 02:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:51.923362
• Title: Continuous Thought Machines
• Title（参考訳）: 継続的思考機械
• Authors: Luke Darlow, Ciaran Regan, Sebastian Risi, Jeffrey Seely, Llion Jones,
• Abstract要約: 本稿では、ニューラルネットワークをコア表現として活用するモデルであるContinuous Thought Machine(CTM)を紹介する。 CTMには、(1)ニューロンレベルの時間的処理、(2)ニューロンが入ってくる履歴を処理するために独自の重みパラメータを使用する、(2)潜時表現としての神経同期という2つの革新がある。 我々は,2次元迷路の解決,ImageNet-1K分類,パリティ計算など,CTMの性能と汎用性を示す。
• 参考スコア（独自算出の注目度）: 6.225422492899255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological brains demonstrate complex neural activity, where neural dynamics are critical to how brains process information. Most artificial neural networks ignore the complexity of individual neurons. We challenge that paradigm. By incorporating neuron-level processing and synchronization, we reintroduce neural timing as a foundational element. We present the Continuous Thought Machine (CTM), a model designed to leverage neural dynamics as its core representation. The CTM has two innovations: (1) neuron-level temporal processing, where each neuron uses unique weight parameters to process incoming histories; and (2) neural synchronization as a latent representation. The CTM aims to strike a balance between neuron abstractions and biological realism. It operates at a level of abstraction that effectively captures essential temporal dynamics while remaining computationally tractable. We demonstrate the CTM's performance and versatility across a range of tasks, including solving 2D mazes, ImageNet-1K classification, parity computation, and more. Beyond displaying rich internal representations and offering a natural avenue for interpretation owing to its internal process, the CTM is able to perform tasks that require complex sequential reasoning. The CTM can also leverage adaptive compute, where it can stop earlier for simpler tasks, or keep computing when faced with more challenging instances. The goal of this work is to share the CTM and its associated innovations, rather than pushing for new state-of-the-art results. To that end, we believe the CTM represents a significant step toward developing more biologically plausible and powerful artificial intelligence systems. We provide an accompanying interactive online demonstration at https://pub.sakana.ai/ctm/ and an extended technical report at https://pub.sakana.ai/ctm/paper .
• Abstract（参考訳）: 生物学的脳は複雑な神経活動を示し、脳が情報を処理する方法に神経力学が不可欠である。 ほとんどの人工ニューラルネットワークは個々のニューロンの複雑さを無視している。 私たちはそのパラダイムに挑戦する。 ニューロンレベルの処理と同期を取り入れることで、神経のタイミングを基本要素として再導入する。 本稿では、ニューラルネットワークをコア表現として活用するモデルであるContinuous Thought Machine(CTM)を紹介する。 CTMには、(1)ニューロンレベルの時間的処理、(2)ニューロンが入ってくる履歴を処理するために独自の重みパラメータを使用する、(2)潜時表現としての神経同期という2つの革新がある。 CTMは、ニューロンの抽象化と生物学的リアリズムのバランスをとることを目的としている。 本質的な時間的ダイナミクスを効果的に捉えながら、計算可能でありながら、抽象レベルで機能する。 我々は,2次元迷路の解決,ImageNet-1K分類,パリティ計算など,CTMの性能と汎用性を示す。 豊かな内部表現を表示し、内部プロセスによる解釈の自然な道を提供するだけでなく、CTMは複雑なシーケンシャルな推論を必要とするタスクを実行することができる。 CTMはまた、適応型計算を活用して、より単純なタスクで早く停止したり、より困難なインスタンスに直面した場合にコンピューティングを維持することもできる。 この作業の目標は、CTMとその関連するイノベーションを共有することだ。 そのために私たちは、CTMがより生物学的に妥当で強力な人工知能システムを開発するための重要な一歩だと信じています。 我々は、https://pub.sakana.ai/ctm/でインタラクティブなオンラインデモンストレーションを行い、https://pub.sakana.ai/ctm/paper.comで拡張技術レポートを提供します。

関連論文リスト

• SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning [54.390403684665834]
  視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。 視覚的意味論から神経反応への変換を確率的かつ生物学的に解釈可能な方法でシミュレートする生成フレームワークであるSynBrainを提案する。 実験結果から,SynBrainは被写体特異的視覚-fMRI符号化性能において最先端の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2025-08-14T03:01:05Z)
• BrainATCL: Adaptive Temporal Brain Connectivity Learning for Functional Link Prediction and Age Estimation [0.33748750222488655]
  本稿では、適応的時間的脳接続学習のための非教師なしノンパラメトリックフレームワークBrainATCLを提案する。 提案手法は,新たに追加されたエッジのレートに基づいて,スナップショット毎のルックバックウィンドウを動的に調整する。 グラフシーケンスはGINE-Mamba2バックボーンを用いて符号化され、静止状態fMRIデータにおける動的機能接続の時空間表現を学習する。
  論文  参考訳（メタデータ） (2025-08-09T21:18:25Z)
• Neural Brain: A Neuroscience-inspired Framework for Embodied Agents [78.61382193420914]
  大規模な言語モデルのような現在のAIシステムは、いまだに解体され続けており、物理的に世界と関わりが持てない。 この課題の核心は、人間のような適応性を持つエンボディエージェントを駆動するために設計された中枢知能システムであるNeural Brain(ニューラル・ブレイン)の概念である。 本稿では,2つの基本的な課題に対処する,エンボディエージェントのニューラルブレインの統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:05:34Z)
• Application of an attention-based CNN-BiLSTM framework for in vivo two-photon calcium imaging of neuronal ensembles: decoding complex bilateral forelimb movements from unilateral M1 [0.511850618931844]
  マルチスケール脳ネットワークからの運動などの復号化は、神経科学の中心的な目的である。 本研究では,注目度に基づくCNN-BiLSTMモデルであるハイブリッドディープラーニングフレームワークを用いて,熟練した複雑な前肢の動きをデコードする。 両前肢の複雑な運動は片側M1ニューロンのアンサンブルから正確に復号できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-23T17:43:00Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Graph-Based Representation Learning of Neuronal Dynamics and Behavior [2.3859858429583665]
  本稿では,時間変動ニューロン接続をモデル化する新しいフレームワークTAVRNNを紹介する。 TAVRNNは、解釈可能な集団レベルの表現を維持しながら、単一単位レベルで潜伏ダイナミクスを学習する。 TAVRNNは,(1)自由行動ラットの電気生理学的データ,(2)到達作業中の霊長類体性感覚皮質記録,(3)仮想ゲーム環境と相互作用するDishBrainプラットフォーム内の生物学的ニューロンの3つのデータセットで検証した。
  論文  参考訳（メタデータ） (2024-10-01T13:19:51Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics Organized by Astrocyte-modulated Plasticity [0.0]
  液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。 近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。 本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
  論文  参考訳（メタデータ） (2021-10-26T23:04:40Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
  より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。 本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
  論文  参考訳（メタデータ） (2021-05-15T19:49:32Z)
• Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
  複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。 我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
  論文  参考訳（メタデータ） (2021-04-21T18:23:31Z)
• A Spiking Neural Network Emulating the Structure of the Oculomotor System Requires No Learning to Control a Biomimetic Robotic Head [0.0]
  バイオミメティック・ロボットヘッドのプロトタイプの心臓にニューロモルフィック・オキュロモータ・コントローラが配置されている。 コントローラは、すべてのデータがスパイクニューラルネットワーク(SNN)によって符号化され、処理されるという意味でユニークなものです。 ロボットの目標追跡能力について報告し、その眼球運動学は人間の眼研究で報告されたものと類似していることを示し、生物学的に制約された学習を用いて、その性能をさらに向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-18T13:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。