論文の概要: Scalable Machines with Intrinsic Higher Mental-State Dynamics

• arxiv url: http://arxiv.org/abs/2603.13453v1
• Date: Fri, 13 Mar 2026 16:16:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.223768
• Title: Scalable Machines with Intrinsic Higher Mental-State Dynamics
• Title（参考訳）: 内在性高次精神状態ダイナミクスを有するスケーラブルマシン
• Authors: Ahsan Adeel, M. Bilal,
• Abstract要約: この研究は、モデル(例えばトランスフォーマー)が覚醒的思考の基礎となる計算原理をどのように実装できるかを示す数学的基礎の定式化を導入する。 標準ビジョン変換器(ViT)とベンチマークしたImageNet-1Kの実験では、計算要求の低減による学習が大幅に高速化された。
• 参考スコア（独自算出の注目度）: 1.5584040836686046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Drawing on recent breakthroughs in cellular neurobiology and detailed biophysical modeling linking neocortical pyramidal neurons to distinct mental-state regimes, this work introduces a mathematically grounded formulation showing how models (e.g., Transformers) can implement computational principles underlying awake imaginative thought to pre-select relevant information before attention is applied via triadic modulation loops among queries ($Q$), keys ($K$), and values ($V$).~Scalability experiments on ImageNet-1K, benchmarked against a standard Vision Transformer (ViT), demonstrate significantly faster learning with reduced computational demand (fewer heads, layers, and tokens), consistent with our prior findings in reinforcement learning and language modeling. The approach operates at approximately $\mathcal{O}(N)$ complexity with respect to the number of input tokens $N$.
• Abstract（参考訳）: 近年の細胞神経生物学のブレークスルーと、新皮質錐体ニューロンを別の精神状態に結びつける詳細な生体物理モデリングに基づいて、モデル(例えば、トランスフォーマー)が、クエリ(Q$)、キー(K$)、値(V$)の3進変調ループを通じて、注意を向ける前に、関連情報を事前に選択すると考えられる想像論的原理を、どのように実装できるかを示す数学的基礎の定式化を導入する。 標準的なビジョン変換器 (ViT) とベンチマークした ImageNet-1K の ~Scalability 実験では,計算負荷の低減 (頭, 層, トークン) による学習が大幅に高速化され, 強化学習や言語モデリングにおけるこれまでの知見と一致した。 このアプローチは入力トークンの数に関して約$\mathcal{O}(N)$複雑さで動作する。

関連論文リスト

• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• Beyond Attention: Toward Machines with Intrinsic Higher Mental States [1.2147145617662436]
  この研究は、モデル(例えばトランスフォーマー)が高レベルの知覚処理をエミュレートし、思考(想像)を起こさせる方法を示している。 結果は強化学習(例えば、高次元の視覚設定でのCarRacing)、コンピュータビジョン、自然言語による質問応答などに及ぶ。
  論文  参考訳（メタデータ） (2025-05-02T14:31:10Z)
• A Hybrid Transformer Architecture with a Quantized Self-Attention Mechanism Applied to Molecular Generation [0.0]
  本稿では,トランスデコーダの一部として,量子古典的自己アテンション機構を提案する。 クェリキードット積の時間的複雑さは古典的モデルでは$mathcalO(n2 d)$から量子モデルでは$mathcalO(n2 d)$に減少する。 この研究は、量子化自然言語処理(NLP)のための有望な道を提供する。
  論文  参考訳（メタデータ） (2025-02-26T15:15:01Z)
• Modeling Autonomous Shifts Between Focus State and Mind-Wandering Using a Predictive-Coding-Inspired Variational RNN Model [2.163881720692685]
  この研究は、フォーカス状態とマインドランディングの間の自律的なシフトの神経機構について研究している。 従来提案した変分RNNモデルを用いて連続感覚系列の知覚過程をモデル化した。 シミュレーション実験により,低値と高値に$mathbfw$が切り替えられると,集中認識とマインドウォーランシングの自律的なシフトが生じることが示された。
  論文  参考訳（メタデータ） (2024-12-20T07:25:20Z)
• Fourier Circuits in Neural Networks and Transformers: A Case Study of Modular Arithmetic with Multiple Inputs [35.212818841550835]
  一層ニューラルネットワークと一層トランスフォーマーの研究を行った。 1つの隠れた層ニューラルネットワークは、データセット上で最大$L_2,k+1$-marginに達する。 同様の計算機構を1層変換器に注意して観察する。
  論文  参考訳（メタデータ） (2024-02-12T05:52:06Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。