論文の概要: A Brain-inspired Memory Transformation based Differentiable Neural
Computer for Reasoning-based Question Answering
- arxiv url: http://arxiv.org/abs/2301.02809v1
- Date: Sat, 7 Jan 2023 08:39:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 15:38:18.916407
- Title: A Brain-inspired Memory Transformation based Differentiable Neural
Computer for Reasoning-based Question Answering
- Title(参考訳): 推論に基づく質問応答のための脳誘発記憶変換に基づく微分可能なニューラルネットワーク
- Authors: Yao Liang, Hongjian Fang, Yi Zeng and Feifei Zhao
- Abstract要約: 人間の基本的な認知機能としての推論と質問応答は、現在の人工知能にとって大きな課題である。
本論文は,脳の学習と記憶機構に動機付けられ,記憶変換に基づく微分可能ニューラルネットワーク(MT-DNC)モデルを提案する。
- 参考スコア(独自算出の注目度): 3.036382664997076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning and question answering as a basic cognitive function for humans, is
nevertheless a great challenge for current artificial intelligence. Although
the Differentiable Neural Computer (DNC) model could solve such problems to a
certain extent, the development is still limited by its high algorithm
complexity, slow convergence speed, and poor test robustness. Inspired by the
learning and memory mechanism of the brain, this paper proposed a Memory
Transformation based Differentiable Neural Computer (MT-DNC) model. MT-DNC
incorporates working memory and long-term memory into DNC, and realizes the
autonomous transformation of acquired experience between working memory and
long-term memory, thereby helping to effectively extract acquired knowledge to
improve reasoning ability. Experimental results on bAbI question answering task
demonstrated that our proposed method achieves superior performance and faster
convergence speed compared to other existing DNN and DNC models. Ablation
studies also indicated that the memory transformation from working memory to
long-term memory plays essential role in improving the robustness and stability
of reasoning. This work explores how brain-inspired memory transformation can
be integrated and applied to complex intelligent dialogue and reasoning
systems.
- Abstract(参考訳): 推論と質問応答は、人間の基本的な認知機能でありながら、現在の人工知能にとって大きな課題である。
微分可能なニューラルネットワーク(DNC)モデルはそのような問題をある程度解決できるが、アルゴリズムの複雑さ、収束速度の遅さ、テストの堅牢性に制限されている。
本稿では,脳の学習・記憶機構にヒントを得て,記憶変換に基づく微分ニューラルネットワーク(MT-DNC)モデルを提案する。
mt-dncは作業記憶と長期記憶をdncに取り入れ、作業記憶と長期記憶の間の獲得経験の自律的変換を実現し、獲得した知識を効果的に抽出し推論能力を向上させる。
bAbI質問応答タスクの実験結果から,提案手法は既存のDNNモデルやDNCモデルよりも優れた性能と収束速度を実現することが示された。
アブレーション研究は、作業記憶から長期記憶への記憶変換が推論のロバスト性と安定性を改善する上で重要な役割を果たすことを示した。
この研究は、脳にインスパイアされたメモリ変換をどのように統合し、複雑なインテリジェントな対話と推論システムに適用するかを考察する。
関連論文リスト
- Understanding AI Cognition: A Neural Module for Inference Inspired by
Human Memory Mechanisms [10.094090483211966]
本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。
メモリモジュールは、作業と長期記憶から構成され、後者は、より蓄積された知識と経験を保持するために高次構造を備えている。
我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
論文 参考訳(メタデータ) (2023-10-01T08:12:55Z) - Recurrent Memory Decision Transformer [55.41644538483948]
本稿では,リカレントメモリ決定変換器(RMDT)を提案する。
我々は,アタリゲームと MuJoCo 制御問題に関する徹底的な実験を行い,提案モデルが再帰的なメモリ機構を伴わずに,そのモデルよりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-06-15T19:29:08Z) - Brain Diffuser: An End-to-End Brain Image to Brain Network Pipeline [54.93591298333767]
脳ディフューザー(Brain diffuser)は、拡散に基づくエンド・ツー・エンドの脳ネットワーク生成モデルである。
被験者間の構造的脳ネットワークの差異を分析することで、より構造的接続性や疾患関連情報を利用する。
アルツハイマー病の場合、提案モデルは、アルツハイマー病神経画像イニシアチブデータベース上の既存のツールキットの結果より優れている。
論文 参考訳(メタデータ) (2023-03-11T14:04:58Z) - Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph
Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。
本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。
我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文 参考訳(メタデータ) (2022-10-08T12:14:33Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳(メタデータ) (2022-07-07T15:37:17Z) - A bio-inspired implementation of a sparse-learning spike-based
hippocampus memory model [0.0]
本研究では,海馬に基づくバイオインスパイアされた新しい記憶モデルを提案する。
記憶を覚えたり、キューから思い出したり、同じキューで他の人を学ぼうとする時の記憶を忘れたりできる。
この研究は、完全に機能するバイオインスパイアされたスパイクベースの海馬記憶モデルの最初のハードウェア実装を示す。
論文 参考訳(メタデータ) (2022-06-10T07:48:29Z) - CogNGen: Constructing the Kernel of a Hyperdimensional Predictive
Processing Cognitive Architecture [79.07468367923619]
神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。
我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
論文 参考訳(メタデータ) (2022-03-31T04:44:28Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Memory and attention in deep learning [19.70919701635945]
マシンのメモリ構成は避けられない。
ディープラーニングにおけるメモリモデリングの最近の進歩は、外部メモリ構築を中心に展開されている。
この論文の目的は、深層学習における記憶と注意に対する理解を深めることである。
論文 参考訳(メタデータ) (2021-07-03T09:21:13Z) - A Neural Dynamic Model based on Activation Diffusion and a
Micro-Explanation for Cognitive Operations [4.416484585765028]
記憶の神経機構は、人工知能における表現の問題と非常に密接な関係を持っている。
脳内のニューロンのネットワークとその情報処理のシミュレーションを行う計算モデルが提案された。
論文 参考訳(メタデータ) (2020-11-27T01:34:08Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳(メタデータ) (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。