Fugu-MT 論文翻訳(概要): A Neuromorphic Model of Learning Meaningful Sequences with Long-Term Memory

論文の概要: A Neuromorphic Model of Learning Meaningful Sequences with Long-Term Memory

arxiv url: http://arxiv.org/abs/2509.12850v1
Date: Tue, 16 Sep 2025 09:08:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-17 17:50:52.988877
Title: A Neuromorphic Model of Learning Meaningful Sequences with Long-Term Memory
Title（参考訳）: 長期記憶を用いた学習意味配列のニューロモルフィックモデル
Authors: Laxmi R. Iyer, Ali A. Minai,
Abstract要約: 慣れ親しんだ状況下での新規配列の学習について検討する。 SWOW-ENの存在下では、意味のある文の学習とランダムノイズとの速度の差は明らかである。
参考スコア（独自算出の注目度）: 0.6875312133832078
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Learning meaningful sentences is different from learning a random set of words. When humans understand the meaning, the learning occurs relatively quickly. What mechanisms enable this to happen? In this paper, we examine the learning of novel sequences in familiar situations. We embed the Small World of Words (SWOW-EN), a Word Association Norms (WAN) dataset, in a spiking neural network based on the Hierarchical Temporal Memory (HTM) model to simulate long-term memory. Results show that in the presence of SWOW-EN, there is a clear difference in speed between the learning of meaningful sentences and random noise. For example, short poems are learned much faster than sequences of random words. In addition, the system initialized with SWOW-EN weights shows greater tolerance to noise.
Abstract（参考訳）: 意味のある文章を学ぶことは、ランダムな単語の集合を学ぶことと異なる。人間がその意味を理解すると、学習は比較的早く起こる。これを実現するメカニズムは何か? 本稿では,慣れ親しんだ状況下での新規配列の学習について検討する。我々は、単語関連ノルム(WAN)データセットであるSmall World of Words(SWOW-EN)を階層的時間記憶(HTM)モデルに基づくスパイクニューラルネットワークに組み込んで、長期記憶をシミュレートする。その結果、SWOW-ENの存在下では、意味のある文の学習とランダムノイズとの速度差が明らかであった。例えば、短い詩はランダムな単語の列よりもはるかに速く学習される。さらに、SWOW-EN重みを初期化することにより、ノイズに対する耐性が向上した。

関連論文リスト

Building, Reusing, and Generalizing Abstract Representations from Concrete Sequences [51.965994405124455]
人間は異なるシーケンスで抽象的なパターンを学ぶのが得意です。多くのシーケンス学習モデルには抽象化能力がないため、メモリの非効率性や転送の低さにつながる。非パラメトリック階層型変数学習モデル(HVM)を導入し、シーケンスからチャンクを学習し、文脈的に類似したチャンクを変数として抽象化する。
論文参考訳（メタデータ） (2024-10-27T18:13:07Z)
Visually Grounded Speech Models have a Mutual Exclusivity Bias [20.495178526318185]
子どもが新しい単語を学ぶ際には、相互排他性(ME)バイアスのような制約を用いる。このバイアスは計算学的に研究されてきたが、個々の単語表現を入力として使用するモデルでのみ研究されている。自然画像と連続音声から学習する視覚的接地音声モデルの文脈におけるMEバイアスについて検討する。
論文参考訳（メタデータ） (2024-03-20T18:49:59Z)
MEWL: Few-shot multimodal word learning with referential uncertainty [24.94171567232573]
本研究では,マチンエ語学習ベンチマークを導入し,接地された視覚シーンにおいて,機械が単語の意味を学習する方法を評価する。 MEWLは、単語学習における人間のコア認知ツールキットをカバーしている。マルチモーダルエージェントと非モーダルエージェントのパフォーマンスを比較分析して評価することにより,人・機械語学習における急激な違いに気づく。
論文参考訳（メタデータ） (2023-06-01T09:54:31Z)
On Isotropy, Contextualization and Learning Dynamics of Contrastive-based Sentence Representation Learning [8.959800369169798]
コントラスト学習が文レベルの意味論の学習になぜ役立つのかはよく理解されていない。コントラスト学習は異方性をもたらし,文内類似度が高いことを示す。として形式化したものが意味論的意味のあるトークンに対して緩和されていることもわかりました。
論文参考訳（メタデータ） (2022-12-18T21:11:49Z)
Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文参考訳（メタデータ） (2021-06-05T20:40:01Z)
Seeing Both the Forest and the Trees: Multi-head Attention for Joint Classification on Different Compositional Levels [15.453888735879525]
自然言語では、単語は関連して文を構成するために使用される。より低い言語的コンポーネントと高い言語的コンポーネントを明確に結び付けるディープニューラルネットワークアーキテクチャを設計する。我々のモデルであるMHALは、異なるレベルの粒度でそれらを同時に解くことを学習していることを示す。
論文参考訳（メタデータ） (2020-11-01T10:44:46Z)
Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文参考訳（メタデータ） (2020-09-27T02:13:38Z)
Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-06-29T08:35:49Z)
Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文参考訳（メタデータ） (2020-06-19T12:00:05Z)
Online Memorization of Random Firing Sequences by a Recurrent Neural Network [12.944868613449218]
学習/記憶の2つのモードが考慮されている: 1つ目のモードは厳密にオンラインであり、1つのモードがデータを通過する一方、2番目のモードはデータを通る複数のパスを使用する。どちらのモードでも、学習は厳密な局所的(準ヘビアン):任意の段階において、前段階のニューロンの発火(または発火)と現在の段階の発火(または発火)の間の重みだけを変更する。
論文参考訳（メタデータ） (2020-01-09T11:02:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。