論文の概要: Towards a neural architecture of language: Deep learning versus
logistics of access in neural architectures for compositional processing
- arxiv url: http://arxiv.org/abs/2210.10543v1
- Date: Wed, 19 Oct 2022 13:31:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 12:23:25.363596
- Title: Towards a neural architecture of language: Deep learning versus
logistics of access in neural architectures for compositional processing
- Title(参考訳): 言語のニューラルアーキテクチャに向けて: 合成処理のためのニューラルアーキテクチャにおける深い学習とアクセスのロジスティクス
- Authors: Frank van der Velde
- Abstract要約: GPTと脳言語処理機構は根本的に異なる。
彼らは構成的で生産的な人間の言語処理に必要なアクセスのロジスティクスを持っていない。
学習方法を調べることで、深層学習で見られる「学習された認知」が脳内でどのように発達するかを明らかにすることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, a number of articles have argued that deep learning models such as
GPT could also capture key aspects of language processing in the human mind and
brain. However, I will argue that these models are not suitable as neural
models of human language. Firstly, because they fail on fundamental boundary
conditions, such as the amount of learning they require. This would in fact
imply that the mechanisms of GPT and brain language processing are
fundamentally different. Secondly, because they do not possess the logistics of
access needed for compositional and productive human language processing.
Neural architectures could possess logistics of access based on small-world
like network structures, in which processing does not consist of symbol
manipulation but of controlling the flow of activation. In this view, two
complementary approaches would be needed to investigate the relation between
brain and cognition. Investigating learning methods could reveal how 'learned
cognition' as found in deep learning could develop in the brain. However,
neural architectures with logistics of access should also be developed to
account for 'productive cognition' as required for natural or artificial human
language processing. Later on, these approaches could perhaps be combined to
see how such architectures could develop by learning and development from a
simpler basis.
- Abstract(参考訳): 近年、GPTのようなディープラーニングモデルは、人間の心と脳における言語処理の重要な側面を捉えることができると論じられている。
しかし、これらのモデルは人間の言語のニューラルモデルには適さないと私は論じる。
第一に、それらは必要な学習量などの基本的な境界条件で失敗するためである。
これは実際、GPTと脳言語処理のメカニズムが根本的に異なることを示唆している。
第二に、構成的かつ生産的な人間の言語処理に必要なアクセスのロジスティクスを持たないためである。
ニューラルネットワークアーキテクチャは、小さな世界のようなネットワーク構造に基づくアクセスのロジスティクスを持ち、処理はシンボル操作ではなく、活性化の流れを制御する。
この観点では、脳と認知の関係を調べるために2つの補完的アプローチが必要である。
学習方法を調査することで、深層学習に見られる「学習認知」が脳内でどのように発達するかを明らかにすることができる。
しかし、自然言語や人工言語処理に必要な「生産的認知」を考慮するために、アクセスのロジスティクスを備えたニューラルアーキテクチャも開発されるべきである。
後ほど、これらのアプローチを組み合わせることで、そのようなアーキテクチャがより単純なベースで学習と開発によってどのように発展するかを確認することができるだろう。
関連論文リスト
- Engineering A Large Language Model From Scratch [0.0]
AtinukeはTransformerベースのニューラルネットワークで、さまざまな言語タスクのパフォーマンスを最適化する。
特徴を抽出し、複雑なマッピングを学習することで、人間のような言語をエミュレートすることができる。
システムは、解釈可能で堅牢なまま、自然言語タスクの最先端の結果を達成する。
論文 参考訳(メタデータ) (2024-01-30T04:29:48Z) - Training Neural Networks with Internal State, Unconstrained
Connectivity, and Discrete Activations [66.53734987585244]
真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。
このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。
このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
論文 参考訳(メタデータ) (2023-12-22T01:19:08Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳(メタデータ) (2023-09-24T05:43:19Z) - Meta Neural Coordination [0.0]
メタラーニングは、新しい変化する環境に適応するために、他の学習アルゴリズムから学習できるアルゴリズムを開発することを目的としている。
従来のディープニューラルネットワークの予測の不確かさは、世界の部分的な予測可能性を強調している。
生物学的にインスパイアされたマシンインテリジェンスを構築するために必要な潜在的な進歩について論じる。
論文 参考訳(メタデータ) (2023-05-20T06:06:44Z) - Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。
我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
論文 参考訳(メタデータ) (2023-01-16T10:31:25Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳(メタデータ) (2022-06-03T17:01:46Z) - Context Limitations Make Neural Language Models More Human-Like [32.488137777336036]
インクリメンタルな文処理において,現代のニューラル言語モデル(LM)と人間とのコンテキストアクセスの相違を示す。
LMが人間の読書行動をより良くシミュレートするためには、追加のコンテキスト制限が必要だった。
また, メモリアクセスにおけるヒトとLMのギャップは, 特定の構文構造と関連していることを示した。
論文 参考訳(メタデータ) (2022-05-23T17:01:13Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-06-09T22:59:12Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳(メタデータ) (2021-05-19T07:24:42Z) - Memristors -- from In-memory computing, Deep Learning Acceleration,
Spiking Neural Networks, to the Future of Neuromorphic and Bio-inspired
Computing [25.16076541420544]
機械学習は、特にディープラーニングの形で、人工知能の最近の基本的な発展のほとんどを駆動している。
ディープラーニングは、オブジェクト/パターン認識、音声と自然言語処理、自動運転車、インテリジェントな自己診断ツール、自律ロボット、知識に富んだパーソナルアシスタント、監視といった分野に成功している。
本稿では、電力効率の高いインメモリコンピューティング、ディープラーニングアクセラレーター、スパイクニューラルネットワークの実装のための潜在的なソリューションとして、CMOSハードウェア技術、memristorsを超越した小説をレビューする。
論文 参考訳(メタデータ) (2020-04-30T16:49:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。