論文の概要: Beyond Attention: Toward Machines with Intrinsic Higher Mental States
- arxiv url: http://arxiv.org/abs/2505.06257v1
- Date: Fri, 02 May 2025 14:31:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-18 22:55:23.169875
- Title: Beyond Attention: Toward Machines with Intrinsic Higher Mental States
- Title（参考訳）: 注意を超えて:本質的高次精神状態を持つ機械を目指して
- Authors: Ahsan Adeel,
- Abstract要約: この研究は、モデル(例えばトランスフォーマー)が高レベルの知覚処理をエミュレートし、思考(想像)を起こさせる方法を示している。
結果は強化学習(例えば、高次元の視覚設定でのCarRacing)、コンピュータビジョン、自然言語による質問応答などに及ぶ。
- 参考スコア（独自算出の注目度）: 1.2147145617662436
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Attending to what is relevant is fundamental to both the mammalian brain and modern machine learning models such as Transformers. Yet, determining relevance remains a core challenge, traditionally offloaded to learning algorithms like backpropagation. Inspired by recent cellular neurobiological evidence linking neocortical pyramidal cells to distinct mental states, this work shows how models (e.g., Transformers) can emulate high-level perceptual processing and awake thought (imagination) states to pre-select relevant information before applying attention. Triadic neuronal-level modulation loops among questions ($Q$), clues (keys, $K$), and hypotheses (values, $V$) enable diverse, deep, parallel reasoning chains at the representation level and allow a rapid shift from initial biases to refined understanding. This leads to orders-of-magnitude faster learning with significantly reduced computational demand (e.g., fewer heads, layers, and tokens), at an approximate cost of $\mathcal{O}(N)$, where $N$ is the number of input tokens. Results span reinforcement learning (e.g., CarRacing in a high-dimensional visual setup), computer vision, and natural language question answering.
- Abstract（参考訳）: 関連することへの取り組みは、哺乳類の脳とトランスフォーマーのような現代の機械学習モデルの両方に不可欠である。
しかし、関連性の決定は依然として重要な課題であり、伝統的にバックプロパゲーションのような学習アルゴリズムにオフロードされる。
この研究は、新皮質錐体細胞と異なる精神状態とを結びつける最近の細胞神経生物学的証拠に触発され、モデル(例えばトランスフォーマー)が高レベルの知覚処理をエミュレートし、思考(想像)状態が注意を向ける前に関連情報を事前に選択する方法を示している。
質問(Q$)、手がかり(キー、$K$)、仮説(値、$V$)の3段階のニューロンレベルの変調ループは、表現レベルでの多様で深い並列推論チェーンを可能にし、初期バイアスから洗練された理解への迅速なシフトを可能にする。
これにより、計算要求(例えば、頭数、層数、トークン数)を大幅に削減し、およそ$\mathcal{O}(N)$で、$N$は入力トークンの数である。
結果は、強化学習(例えば、高次元の視覚設定でのCarRacing)、コンピュータビジョン、自然言語による質問応答などに及ぶ。
関連論文リスト
- Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - BrainBERT: Self-supervised representation learning for intracranial
recordings [18.52962864519609]
我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。
NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。
将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
論文 参考訳（メタデータ） (2023-02-28T07:40:37Z) - Are Deep Neural Networks SMARTer than Second Graders? [85.60342335636341]
6～8歳児を対象としたビジュオ言語パズルの解法において,ニューラルネットワークの抽象化,推論,一般化能力の評価を行った。
我々のデータセットは101のユニークなパズルで構成されており、各パズルは絵の質問で構成されており、それらの解には算術、代数学、空間推論を含むいくつかの基本的なスキルが混在している必要がある。
実験により、強力なディープモデルは教師付き設定でパズルに合理的な性能を与えるが、一般化のために解析するとランダムな精度よりは良くないことが明らかになった。
論文 参考訳（メタデータ） (2022-12-20T04:33:32Z) - Sequence learning in a spiking neuronal network with memristive synapses [0.0]
脳計算の中心にある中核的な概念は、シーケンス学習と予測である。
ニューロモルフィックハードウェアは、脳が情報を処理する方法をエミュレートし、ニューロンとシナプスを直接物理的基質にマッピングする。
シークエンス学習モデルにおける生物学的シナプスの代替としてReRAMデバイスを使用することの可能性について検討する。
論文 参考訳（メタデータ） (2022-11-29T21:07:23Z) - Transformers Learn Shortcuts to Automata [52.015990420075944]
低深度変換器は任意の有限状態オートマトンを計算できる。
我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。
さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
論文 参考訳（メタデータ） (2022-10-19T17:45:48Z) - Abductive Knowledge Induction From Raw Data [12.868722327487752]
本稿では,帰納的メタ解釈学習(Meta_Abd$)を提案する。
実験の結果,$Meta_Abd$は予測精度とデータ効率で比較したシステムより優れることがわかった。
論文 参考訳（メタデータ） (2020-10-07T16:33:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。