論文の概要: Emergent Symbols through Binding in External Memory

• arxiv url: http://arxiv.org/abs/2012.14601v2
• Date: Wed, 10 Mar 2021 01:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 20:42:46.535914
• Title: Emergent Symbols through Binding in External Memory
• Title（参考訳）: 外部記憶における結合による創発的シンボル
• Authors: Taylor W. Webb, Ishan Sinha, Jonathan D. Cohen
• Abstract要約: 本稿では,外部メモリを付加したリカレントネットワークであるEmergent Symbol Binding Network (ESBN)を紹介する。 このバインディングメカニズムにより、シンボル処理機械を明示的に組み込むことなく、学習プロセスを通じてシンボルのような表現が現れます。 一連のタスクを通じて、このアーキテクチャは学習したルールのほぼ完全な一般化を新しい実体に示すことを示しています。
• 参考スコア（独自算出の注目度）: 2.3562267625320352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key aspect of human intelligence is the ability to infer abstract rules directly from high-dimensional sensory data, and to do so given only a limited amount of training experience. Deep neural network algorithms have proven to be a powerful tool for learning directly from high-dimensional data, but currently lack this capacity for data-efficient induction of abstract rules, leading some to argue that symbol-processing mechanisms will be necessary to account for this capacity. In this work, we take a step toward bridging this gap by introducing the Emergent Symbol Binding Network (ESBN), a recurrent network augmented with an external memory that enables a form of variable-binding and indirection. This binding mechanism allows symbol-like representations to emerge through the learning process without the need to explicitly incorporate symbol-processing machinery, enabling the ESBN to learn rules in a manner that is abstracted away from the particular entities to which those rules apply. Across a series of tasks, we show that this architecture displays nearly perfect generalization of learned rules to novel entities given only a limited number of training examples, and outperforms a number of other competitive neural network architectures.
• Abstract（参考訳）: 人間の知能の重要な側面は、高次元の感覚データから直接抽象的な規則を推論し、限られた量の訓練経験しか与えない能力である。 深層ニューラルネットワークアルゴリズムは、高次元データから直接学習する強力なツールであることが証明されているが、現在、抽象ルールをデータ効率良く導入するための能力が欠けているため、シンボル処理のメカニズムはこの能力を考慮する必要がある、と主張する人もいる。 本稿では,外部メモリを付加した再帰型ネットワークであるEmergent Symbol Binding Network (ESBN)を導入することにより,このギャップを埋める方向に進む。 このバインディングメカニズムにより、シンボルのような表現が、明示的にシンボル処理機構を組み込む必要なしに学習プロセスを通して実現され、ESBNは、それらのルールが適用される特定のエンティティから抽象化された方法でルールを学ぶことができる。 一連のタスクを通じて、このアーキテクチャは、限られた数のトレーニング例しか与えない新しいエンティティへの学習ルールのほぼ完全な一般化を示し、他の多くの競合ニューラルネットワークアーキテクチャよりも優れています。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules [1.3049516752695616]
  我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。 我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。 我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
  論文  参考訳（メタデータ） (2024-05-23T11:05:42Z)
• The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
  Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。 ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。 新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-02T20:33:14Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Symbolic Synthesis of Neural Networks [0.0]
  グラフベース合成ニューラルネットワーク(GSSNN)について GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。 人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
  論文  参考訳（メタデータ） (2023-03-06T18:13:14Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake [155.6741526791004]
  我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。 物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。 我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
  論文  参考訳（メタデータ） (2022-07-25T17:21:59Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• A Memory-Augmented Neural Network Model of Abstract Rule Learning [2.3562267625320352]
  任意のロールフィラーバインディングのためのニューラルネットワークの能力に焦点を当てる。 本稿では,外部メモリを結合機構として使用することを学習するリカレントニューラルネットワークモデルであるEmergent Symbol Binding Network (ESBN)を紹介する。 このメカニズムにより、ESBNのトレーニングプロセスを通じて、明示的なシンボル処理機械を必要とせずに、シンボルのような変数表現が出現する。
  論文  参考訳（メタデータ） (2020-12-13T22:40:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。